whisper-small-darija-combined
Fine-tuning de openai/whisper-small pour la
reconnaissance automatique de la parole (ASR) en darija (dialecte marocain),
sur un ensemble combiné de 7 datasets publics.
Résultats finaux
| Métrique | Valeur |
|---|---|
| WER (Word Error Rate) | 0.1057 (10.57%) |
| CER (Character Error Rate) | 0.1170 (11.70%) |
| Train loss (moyenne sur tout l'entraînement) | 0.1113 |
| Train loss (dernier step, epoch 10) | 0.11129 |
Hyperparamètres d'entraînement
| Hyperparamètre | Valeur |
|---|---|
| Modèle de base | openai/whisper-small |
| Époques | 10 |
| Batch size (par device) | 2 |
| Gradient accumulation | 16 |
| Batch effectif | 32 |
| Learning rate | 5e-5 |
| Weight decay | 0.005 |
| Optimiseur | AdamW (par défaut Trainer) |
| Précision | fp16 |
| Gradient checkpointing | Oui (use_reentrant=False) |
| Feature encoder | gelé (freeze_feature_encoder) |
| Attention dropout | 0.1 |
| Hidden dropout | 0.1 |
| Feat proj dropout | 0.0 |
| Mask time prob | 0.05 |
| LayerDrop | 0.1 |
| Durée d'entraînement | 4:47:22.11 |
| Vitesse | 23.27 samples/s, 0.727 steps/s |
Datasets utilisés
- adiren7/darija_speech_to_text
- mohamedmou/moroccan-darija-asr-dataset-split
- afyfbadreddine77/darija-asr-dataset
- ntariklk/darija-merged-asr
- atlasia/Moroccan-Darija-Wiki-Audio-Dataset
- Datasmartly/moroccan_darija_audio (accès refusé — dataset privé, non inclus dans l'entraînement)
- RHEZLOUNE/darija-restaurant-audio
- anaszil/Segmented-Moroccan-Darija-Wiki-Audio-Dataset
Filtre appliqué : durée audio ≤ 15s.
Utilisation
Note : ce modèle (~317M paramètres, ~1,2 Go) peut être trop volumineux pour le widget d'inférence gratuit de la page Hugging Face (souvent limité en mémoire/temps pour les modèles de cette taille). Si le widget affiche une erreur ou ne charge pas, teste-le directement en local avec le code ci-dessous, ou via des Inference Endpoints dédiés.
from transformers import WhisperProcessor, WhisperForConditionalGeneration
import librosa
import torch
processor = WhisperProcessor.from_pretrained("amineouaki/whisper-small-darija-combined")
model = WhisperForConditionalGeneration.from_pretrained("amineouaki/whisper-small-darija-combined")
speech, sr = librosa.load("audio.wav", sr=16000)
inputs = processor(speech, sampling_rate=16000, return_tensors="pt")
with torch.no_grad():
predicted_ids = model.generate(inputs["input_features"])
transcription = processor.batch_decode(predicted_ids, skip_special_tokens=True)
print(transcription[0])
Auteur
Amine Ouakib
- Email : amineouakib3@gmail.com
- GitHub : ouakibamine
- LinkedIn : amine-ouakib