SenseVoiceSmall adapted to anime Japanese (encoder + CTC head)
Fine-tuned from FunAudioLLM/SenseVoiceSmall with CTC only and MUSAN music mixed into the training audio, 8000 steps, on 92.28 h of Japanese anime clips from ANIM-400K (clips with pretrained-CTC CER > 0.8 against the annotation were dropped, 14596 of 66722 clips).
model.pt = best mean validation CER over raw and music-mixed conditions (step 8000), model_final.pt = last step. Load like the original model, e.g. AutoModel(model=<local folder>).
| greedy CTC CER vs the dataset annotation (4 unseen shows) | zero-shot | this model |
|---|---|---|
| raw | 0.286 | 0.175 |
| + held-out music 10 dB | 0.280 | 0.180 |
| + music 5 dB | 0.291 | 0.189 |
| + music 0 dB | 0.319 | 0.209 |
Listen
Four random clips from the test shows (never seen in training; fixed seed, not cherry-picked). Greedy CTC through FunASR, Japanese, no ITN. CER is against the reference with punctuation ignored (lower is better).
| audio | reference (dataset) | original SenseVoiceSmall | original CER | this model | this model CER |
|---|---|---|---|---|---|
sample1.mp3 |
はじめまして。せりなバブルと申します。 | はじめましてスセリーナバーグと申します | 0.412 | はめまして。セリナバグと申します。 | 0.353 |
sample2.mp3 |
満足が牛乳脈へ干渉したせいで。魔物が引き寄せられているんだ。 | 魔族が牛脈へ干渉したせいで魔物が引き寄せられているんだ | 0.107 | 満族が牛脈へ干渉したせいで。魔物が引き寄せられているんだ。 | 0.071 |
sample3.mp3 |
ずっとそばにいさせてください。 | 二人の様どうかずっとそばにいさせてください | 0.500 | どうかずっとそばにいさせてください。 | 0.214 |
sample4.mp3 |
わがままかもしれないけど。気持ちに嘘はつけないから。 | 幸せになりたいわがままかもしれないけど気持ちに嘘はつけないから | 0.292 | わがままかもしれないけど。気持ちに。嘘はつけないから。 | 0.000 |