Shenava Koochik — Hossein adaptation
مدل شنوا کوچک، سازگارشده با ۴۰۸ ضبط حسین. ۵۱ نمونه برای اعتبارسنجی و ۵۱ نمونه برای تست مستقل از انتخاب مدل کنار گذاشته شده‌اند. مدل شامل هر دو سر CTC و RNNT است.
حسین و داستان این مجموعه
حسین در قائم‌شهر زندگی می‌کند و معلولیت حرکتی مادرزادی دارد. او خیلی وقت‌ها تنهاست؛ کار با ابزارهای هوش مصنوعی و تلفن زدن به دوستانش از سرگرمی‌های اوست.
این داده‌ها را با مشارکت خود حسین و تلاش فراوان او برای ضبط صدا جمع‌آوری کردیم. هدف ما برداشتن قدمی اولیه برای تشخیص بهتر گفتار حسین و آسان‌تر شدن کار او با ابزارهای صوتی است. با کمک این مجموعه، یک مدل اولیه بر مبنای شنوا کوچک (Shenava Koochik)، با معماری FastConformer هیبریدی RNNT/CTC ساختیم. این مدل با صدای حسین آموزش دیده و برای گفتار او فاین‌تیون شده است.
همراهی و حمایت داوطلبانه از حسین
اگر از این داده‌ها برای کار پژوهشی استفاده می‌کنید و مایل هستید، می‌توانید به حسین که زحمت زیادی برای تهیهٔ آن‌ها کشیده است، داوطلبانه کمک کنید. برای گفت‌وگو و اطلاع از شیوهٔ حمایت، به حسین زنگ بزنید و اطلاعات را مستقیماً از خودش بگیرید؛ در پیام‌رسان بله هم می‌توانید با او ارتباط بگیرید.
با کمک‌ها و دلگرمی شما، حسین انرژی می‌گیرد و می‌تواند صدای بیشتری ضبط کند. یک تماس دوستانه و همراهی شما هم برای ادامهٔ این مسیر ارزشمند است.
- شمارهٔ تماس حسین: ۹۸۹۱۱۷۸۸۱۵۸۹ (
989117881589) - شناسهٔ حسین در پیام‌رسان بله: @rayatdusthoseyn1990
حمایت کاملاً اختیاری است و شرط استفادهٔ پژوهشی از داده‌ها نیست؛ این دعوت به حمایت، مجوز استفاده یا شرایط دسترسی به داده‌ها را تغییر نمی‌دهد.
Hossein lives in Qaem Shahr and has a congenital motor disability. He often spends time alone and enjoys AI tools and calling his friends. This dataset was collected with his active participation and substantial recording effort. The initial Shenava Koochik hybrid FastConformer RNNT/CTC model was fine-tuned on his voice. Researchers who wish to offer voluntary support can contact Hossein directly using the details above.
معماری و آموزش | Architecture and training
Full-parameter adaptation of the native 114M FastConformer hybrid RNNT/CTC model. The original vocabulary and tokenizer are preserved. The objective is 0.7 RNNT + 0.3 CTC with BF16 mixed precision, effective batch 8, AdamW and light SpecAugment. There is no pseudo-label replacement of Hossein's recordings, truncation or silence trimming. CTC is the primary head. The best trained checkpoint is selected only by CTC validation WER, with CER as tie breaker, and five-epoch early stopping.
Held-out test (same speaker, 51 utterances)
| Head | Base WER | Tuned WER | Base CER | Tuned CER |
|---|---|---|---|---|
| ctc | 87.87% | 61.95% | 57.34% | 33.67% |
| rnnt | 88.60% | 62.32% | 68.58% | 39.95% |
Selected epoch: 21. Completed epochs: 25.
evaluation.json includes raw/normalized scores and paired bootstrap intervals.
WER can exceed 100%; lower is better. See the confidence intervals before making
claims about the size of any improvement.
Label and scope limitations
Labels are ASR-derived reference prompts, not human-verified transcriptions of Hossein's actual speech. The reference-speaker ASR labels were displayed while he recorded repetitions. Scores measure prompt agreement and may be affected by prompt errors, deviations and omitted/repeated words. The user's description of the speaker is Dysarthria / Apraxia. No clinical diagnosis is established by this experiment. This is single-speaker adaptation; it does not establish performance on other speakers, unseen recording sessions, spontaneous speech or human-verified transcripts. Exact PCM and normalized-text duplicates are disjoint across train/validation/test; near-duplicate and historical base-training overlap are not established.
Inference
Install the pinned environment (environment.freeze.txt; the tested runtime is
NeMo 3.0.0 and PyTorch 2.11.0+cu126). This repository is public; authentication is not required to download the model.
python transcribe.py recording.wav --head ctc
python transcribe.py recording.webm --head rnnt
The .nemo file bundles the tokenizer. transcribe.py reads complete audio via
FFmpeg, uses mono 16 kHz and context [70,13], and supports either head. Live
cache-aware streaming and long-recording chunking were not evaluated.
The inference archive contains no optimizer state or source recordings. A fresh
reload was checked for equality of all weight tensors and matching predictions
on three final-test files for each head (validation.json).
Source: https://github.com/persianspeech/hossein-dysarthria-asr Dataset: https://huggingface.co/datasets/Hossein-Dysarthria-Net/hossein-persian-speech Original base: https://huggingface.co/Reza2kn/Shenava-Koochik-v1.5