OmniVoice Urdu Fine-tune

12,000 Steps

Fine-tuned checkpoint of k2-fsa/OmniVoice, fine-tuned for 12,000 training steps on Urdu speech data.

Quick Stats

WER Improvement+0.3448vs base modelCER Improvement+0.3182vs base modelSpeaker Similarity Change-0.0787vs base model

Base vs Fine-tuned

Model	Mean WER	Mean CER	Mean Speaker Similarity	Mean Gen Time (s)
Base (k2-fsa/OmniVoice)	0.4170	0.3356	0.8124	5.00
12,000 Steps (this model)	0.0722	0.0174	0.7337	4.61

Summary Chart

Per-Sentence Results (click to expand)

Sentence	WER	CER	Speaker Similarity
1. السلام علیکم، آپ کی کال ہماری کسٹمر سپورٹ ٹیم تک پہنچ گئی ہے۔ میں آپ کی کس طرح مدد کر سکتا ہوں؟	0.0455	0.0109	0.7044
2. اوئے بھائی، ایک بات بتاؤں؟ لیکن دیکھو، یہ بات آگے کسی کو نہیں بتانی۔ کل میں نے کامران کو بازار میں ایک نئی گاڑی میں دیکھا تھا۔	0.0370	0.0083	0.7735
3. اگر آپ اپنا اکاؤنٹ بیلنس چیک کرنا چاہتے ہیں تو موبائل ایپ کھولیں، menu میں جائیں اور بیلنس کا آپشن منتخب کریں۔	0.0909	0.0463	0.7500
4. ارے یار، کل محلے میں کیا ہوا تمہیں پتا ہے؟ میں تو کہتا ہوں ایسی باتیں سن کر بندہ حیران رہ جاتا ہے۔	0.0435	0.0105	0.7713
5. آپ کی درخواست کامیابی کے ساتھ موصول ہو گئی ہے۔ ہماری ٹیم اس معاملے کا جائزہ لے رہی ہے اور بہت جلد آپ کو تازہ ترین معلومات فراہم کرے گی۔	0.0667	0.0150	0.7710
6. برائے مہربانی اپنا آرڈر نمبر بتائیں تاکہ میں فوری طور پر آپ کی شکایت درج کر سکوں۔	0.0000	0.0000	0.6943
7. یار سچی بات ہے، مجھے تو یہ نیا موبائل بالکل پسند نہیں آیا، بیٹری بہت جلدی ختم ہو جاتی ہے۔	0.0500	0.0116	0.6577
8. ہمارے ریکارڈ کے مطابق آپ کی ادائیگی کامیابی سے مکمل ہو چکی ہے اور رسید آپ کے ای میل پر بھیج دی گئی ہے۔	0.1667	0.0297	0.7160
9. کیا آپ مجھے بتا سکتے ہیں کہ اگلی فلائٹ کس وقت روانہ ہو گی اور کیا اس میں کوئی تاخیر متوقع ہے؟	0.0909	0.0109	0.7917
10. پہلے پانی کو ابالیں، پھر اس میں چائے کی پتی ڈالیں اور پانچ منٹ تک پکنے دیں، اس کے بعد دودھ شامل کریں۔	0.1304	0.0306	0.7070

Listen: Base vs Fine-tuned (12,000 Steps)

Same reference voice and text, generated by both models side by side.

Test 1 — السلام علیکم، آپ کی کال ہماری کسٹمر سپورٹ ٹیم تک پہنچ گئی ہے۔ میں آپ کی کس طرح مدد کر سکتا ہوں؟Base ModelFine-tunedTest 2 — اوئے بھائی، ایک بات بتاؤں؟ لیکن دیکھو، یہ بات آگے کسی کو نہیں بتانی۔ کل میں نے کامران کو بازار میں ایک نئی گاڑی میں دیکھا تھا۔Base ModelFine-tunedTest 3 — اگر آپ اپنا اکاؤنٹ بیلنس چیک کرنا چاہتے ہیں تو موبائل ایپ کھولیں، menu میں جائیں اور بیلنس کا آپشن منتخب کریں۔Base ModelFine-tunedTest 4 — ارے یار، کل محلے میں کیا ہوا تمہیں پتا ہے؟ میں تو کہتا ہوں ایسی باتیں سن کر بندہ حیران رہ جاتا ہے۔Base ModelFine-tunedTest 5 — آپ کی درخواست کامیابی کے ساتھ موصول ہو گئی ہے۔ ہماری ٹیم اس معاملے کا جائزہ لے رہی ہے اور بہت جلد آپ کو تازہ ترین معلومات فراہم کرے گی۔Base ModelFine-tunedTest 6 — برائے مہربانی اپنا آرڈر نمبر بتائیں تاکہ میں فوری طور پر آپ کی شکایت درج کر سکوں۔Base ModelFine-tunedTest 7 — یار سچی بات ہے، مجھے تو یہ نیا موبائل بالکل پسند نہیں آیا، بیٹری بہت جلدی ختم ہو جاتی ہے۔Base ModelFine-tunedTest 8 — ہمارے ریکارڈ کے مطابق آپ کی ادائیگی کامیابی سے مکمل ہو چکی ہے اور رسید آپ کے ای میل پر بھیج دی گئی ہے۔Base ModelFine-tunedTest 9 — کیا آپ مجھے بتا سکتے ہیں کہ اگلی فلائٹ کس وقت روانہ ہو گی اور کیا اس میں کوئی تاخیر متوقع ہے؟Base ModelFine-tunedTest 10 — پہلے پانی کو ابالیں، پھر اس میں چائے کی پتی ڈالیں اور پانچ منٹ تک پکنے دیں، اس کے بعد دودھ شامل کریں۔Base ModelFine-tuned

Usage

from omnivoice import OmniVoice
import soundfile as sf

model = OmniVoice.from_pretrained(
    "mlwithabdullah/omnivoice-urdu-12000",
    device_map="cuda:0",
)

audio = model.generate(
    text="آپ کی درخواست موصول ہو گئی ہے۔",
    ref_audio="reference.wav",
    ref_text="reference transcript",
)

sf.write("output.wav", audio[0], 24000)

Base model: k2-fsa/OmniVoice. Evaluation methodology: WER/CER via Whisper ASR transcription (Urdu-forced) with Urdu-aware text normalization; speaker similarity via SpeechBrain ECAPA-TDNN (spkrec-ecapa-voxceleb).

mlwithabdullah/omnivoice-urdu-12000