cohere-transcribe-arabic-07-2026-dialectal-v2

Fine-tune of CohereLabs/cohere-transcribe-arabic-07-2026 (2.07B) for multi-dialect Arabic speech recognition (undiacritized output), on the dialect-balanced dataset oddadmix/lahgtna-v3-small (52k train / 2.6k test, clean_text, seed 42).

Open weights. Part of the v2 dialectal-ASR family. The base model is already the #1 model on the Open Universal Arabic ASR Leaderboard, so this is a specialization experiment: it improves the core dialects with the most balanced training data (Gulf, Egyptian, Iraqi, Moroccan, Palestinian, Lebanese) but regresses on others (notably a Tunisian failure mode), landing slightly below the base overall. Use the base if you want the best all-round accuracy; this checkpoint if your traffic is concentrated in the core dialects above.

Results (balanced 13-dialect test, ~2,600 clips, `clean_text` WER/CER)

Per-dialect — fine-tuned vs. base

Dialect	Fine-tuned WER	Base WER	Δ
Saudi/Gulf (`sa`)	0.191	0.344	−0.153
Egyptian (`eg`)	0.265	0.336	−0.071
Iraqi (`iq`)	0.320	0.559	−0.239
Moroccan (`ma`)	0.352	0.517	−0.165
Palestinian (`ps`)	0.376	0.414	−0.038
Lebanese (`lb`)	0.501	0.518	−0.017
Algerian (`dz`)	0.577	0.571	+0.006
Bahraini (`bh`)	0.502	0.447	+0.055
Sudanese (`sd`)	0.554	0.497	+0.057
Syrian (`sy`)	0.563	0.430	+0.133
Yemeni (`ye`)	0.614	0.418	+0.196
Libyan (`ly`)	0.756	0.476	+0.280
Tunisian (`tn`)	1.209	0.577	+0.632
Overall	0.514 (CER 0.294)	0.470 (CER 0.179)	+0.044

Fine-tuned wins on 6/13 dialects (large gains on Gulf/Iraqi/Moroccan) but a Tunisian hallucination failure (WER > 1) and Libyan/Yemeni/Syrian regressions pull the average above the base.

v2 family — all models on the same balanced test (`clean_text`, seed 42)

Model	Params	WER	CER
whisper-large-v3-v2	1.54B	0.320	0.120
whisper-large-v3-turbo-v2	809M	0.332	0.125
whisper-medium-v2	769M	0.342	0.128
whisper-small-v2	244M	0.403	0.153
nemotron-3.5-asr-v2	638M	0.423	0.148
qwen3-asr-1.7b-v2	1.7B	0.478	0.182
cohere-…-dialectal-v2 (this)	2.07B	0.514	0.294
qwen3-asr-0.6b-v2	0.6B	0.551	0.215
base cohere-transcribe-arabic-07-2026	2.07B	0.470	0.179

Examples — base vs. fine-tuned (one clip per dialect)

13 held-out test clips, one per dialect. Text is clean_text-normalized (undiacritized), matching the WER scoring. Press play to listen.

Dialect	Reference	Base	Fine-tuned
Egyptian (`eg`)	لا، في كافيه هنا كده جنب الدار، مع أحمد خطيبها، وزمانها جاي.	لا في كافيه هنا كده جنب الدار مع احمد خاطبها وزمنها جاي	لا في كافيه هنا كده جنب الدار مع احمد خطيبها وزمانها جاي.
Lebanese (`lb`)	ما كون مأمنة حالي. ما أقدر اتحكم. امم. في عندي خوف، إيه.	ما أكون مأمنة حالي ما أقدر أتحكم في عندي خوف إي	ما أكون مأمنة حالي، ما أقدر أتحكم. امم. في عندي خوف، إيه. إيه.
Syrian (`sy`)	يعني إنت كان في عندك نظام فاقد الشرعية الدولية، دول ما كانت تعترف فيه. إقامة و دول	يعني أنت كان في عندك نظام فاقد الشرعية الدولية الدول ما كانت تعترف فيه، إقامة...	يعني إنت كان في عندك نظام فاقد الشرعية الدولية، الدول ما كانت تعترف فيه. إيه إقامة ودول.
Palestinian (`ps`)	إ- إزميل أنس واستشهد والده.	الزميل أنس واستشهد والدو	بس الزميل أنس، واستشهد والده.
Iraqi (`iq`)	اشتروا كونتينر او نگدر نگول كرفان حديد، واخذوه بمنطقة بعيدة جدا ودفنوه تحت الأرض. وبعد ما انتهوا من فعلا،	اشتروا كرافان حديد و أخذوه بمنطقة بعيدة جدا و دفنوه تحت الأرض	اشتروا كونتينر أو نگدر نگول كرفان حديد وأخذوه بمنطقة بعيدة جدا ودفنوه تحت الأرض، وبعد ما انتهوا من فعلته.
Saudi/Gulf (`sa`)	ومن نسمع إشارتك، ترانا نازلين مستميتين، ما عندنا شي نخسره.	ومن نسمع اشارتك ترانا نازلين مستميتين ما عندنا شيء نخسره	ومن نسمع إشارتك، ترانا نازلين مستميتين، ما عندنا شيء نخسره.
Bahraini (`bh`)	ولد وكل بنت، لأنه إذا يبون رب العالمين يسر لهم؟	ولد وكل بنت لأنه إذا يبون رب العالمين ييسر لهم	ولد وكل بنت، لأنه إذا يبون رب العالمين ييسر لهم.
Yemeni (`ye`)	وهذا كان ال ال ال ال يعني تستطيع تعتبرها	وهذا كان تستطيع تعتبرها	وهذا كان ال ال ال ال ال يعني تستطيع تعتبرها.
Libyan (`ly`)	هلبة والله يا بشرى ما ما يحضرنيش حاجة. في بلاد أو برا من البلاد؟	هلبة والله بشرى ما يحضرنيش حاجة في بلاد أو برم البلاد	هلبة والله يا بشرى ما يحضرنيش معلم. في بلاد أو برم البلاد. في بلاد. في بلاد أو برم البلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد.
Tunisian (`tn`)	ال الإحتجاجية ما همش م مستأنسين بالأماكن المقابلة اللي هي صالونات الحكم.	الإحتجاجية ماهومش مستانسين بالأماكن المقابلة اللي هي صالونات الحكم	ال الإحتجاجية ما همش مستانسين بالأماكن المقابلة، اللي هي صالونات الحكم.
Algerian (`dz`)	دو عامين. بصح وكان يبياعني أنا ندي عشر سنين ونشوفو هو يخرج أليز في بلاليبرتي.	عندو عامين بصح وكان يبيعني أنا دي عشر سنين ونشوفو هو يخرج أليز فبلا لي باختي	دو عامين. بصح هو كان يبيعني، أنا ندي عشر سنين ونشوف هو يخرج آيليز بلا ليبرتي.
Moroccan (`ma`)	ضارت، و طردت، و كاع داك الشي اللي فيها من الجن. وسكنت فيها. و الحمد لله من بعد تزوجت بفرح، و أسامة تزوج بكوثر.	و طردو كاع داكشي لي فيها من الجن و سكنت فيها و الحمدلله من بعد تزوجت بفرح و اسامة تزوجت بكوثر	وطردو كاع داكشي اللي فيها من الجن. وسكنت فيها، والحمد لله من بعد تزوجت بفرح، وسامة تزوج بكوثر.
Sudanese (`sd`)	آاا همارات بينزلها في الفيس، أو بعد ال هنا أقوم أحضر الخطبة بتاعة طارق الهادي. يعني	هم مرات بينزلها في الفيس أو بعد هنا يقوم أحضر الخطبة بتاعت طارق الهادي يعني	آآ هم راتب ينزلها في الفيس أو بعد ال هنا يقوم أحضر الخطبة بتاعت طارق الهادي. يعني.

Usage

import torch
from transformers import AutoProcessor, CohereAsrForConditionalGeneration  # transformers 5.14-dev

proc = AutoProcessor.from_pretrained("oddadmix/cohere-transcribe-arabic-07-2026-dialectal-v2")
model = CohereAsrForConditionalGeneration.from_pretrained(
    "oddadmix/cohere-transcribe-arabic-07-2026-dialectal-v2", torch_dtype=torch.bfloat16).to("cuda").eval()

# Process ONE bare array at a time — batching+padding degrades this model.
inp = proc(audio_16k_float32, sampling_rate=16000, language="ar", return_tensors="pt").to(model.device)
inp["input_features"] = inp["input_features"].to(model.dtype)
g = model.generate(**inp, max_new_tokens=256)
print(proc.tokenizer.batch_decode(g, skip_special_tokens=True)[0])

Limitations

Below the base overall (0.514 vs 0.470) — the base is a leaderboard-#1 generalist.
Tunisian failure mode (WER > 1): avoid for Tunisian; Libyan/Yemeni/Syrian also regress.
Undiacritized output; evaluated with clean_text (strip tashkil/tags, keep dialect spelling).

oddadmix/cohere-transcribe-arabic-07-2026-dialectal-v2