TeamUNIVA/qwen3_asr_1.7b_ko

English | 한국어

This model is a fine-tune of Qwen/Qwen3-ASR-1.7B on Korean speech data for automatic speech recognition (ASR), and the successor to TeamUNIVA/qwen3_asr_1.7b_ko_beta. It was initialized from the beta model and further trained with two rounds of SFT followed by reinforcement learning (GSPO) on an expanded dataset. It achieves lower error rates than both the base model and the beta model across Korean benchmarks, with a small degradation on English (LibriSpeech, +0.27 %p WER vs. the base model).

Evaluation Results

Korean scores are measured in CER (Character Error Rate); the English score is measured in WER (Word Error Rate). Lower is better for both metrics. Scores are computed after text normalization (punctuation removed and case-folded; the Whisper English normalizer is used for LibriSpeech). The "Change" column is relative to the base model.

Additional evaluation with kocer

kocer (v0.1.5) is a CER for Korean ASR that does not count differences in spacing, punctuation, number notation (e.g., 3개 = 세 개) or Latin-acronym spelling (e.g., AI = 에이아이) as errors. We re-scored the same model outputs on the same reviewed evaluation set with kocer; as above, each utterance is scored against both the TN and ITN transcripts and the better-scoring one is used. Lower is better; the "Change" column is relative to the base model.

The ranking is the same as with the metric above. kocer scores hardly depend on which transcript is used as the reference: for this model, the Korean total is 0.0481 against the TN transcripts only, 0.0491 against the ITN transcripts only, and 0.0472 with the better of the two.

Evaluation Set

All open Korean benchmark evaluation sets used above were fully reviewed by hand: each utterance was checked for dual TN/ITN (text normalization / inverse text normalization) transcripts, low-quality samples were filtered out, and mis-transcriptions were corrected. Every utterance was then evaluated against both the TN and ITN transcripts, and the better-scoring transcript of the pair was used for the final aggregated result. After this review, 8,383 of the original 8,489 records were retained (106 excluded):

Examples

Examples of how actual recognition results change across models (base → beta → this model). Each example comes with its audio clip (stored in this repository under audio/), so you can listen to it with the player above the table.

Example 1

Example 2

Example 3

Example 4

Example 5

Example 6

Example 7

Training

Starting from TeamUNIVA/qwen3_asr_1.7b_ko_beta (itself an SFT-only fine-tune of Qwen/Qwen3-ASR-1.7B), the model was trained with full-parameter updates in four sequential stages, using ms-swift:

The RL stages use GSPO (Group Sequence Policy Optimization) with a reward based on the character error rate of the sampled transcription against the reference.

Usage

Uses the same qwen-asr package as the base model.

pip install -U qwen-asr

import torch
from qwen_asr import Qwen3ASRModel

model = Qwen3ASRModel.from_pretrained(
    "TeamUNIVA/qwen3_asr_1.7b_ko",
    dtype=torch.bfloat16,
    device_map="cuda:0",
    max_inference_batch_size=32,
    max_new_tokens=256,
)

results = model.transcribe(
    audio="path/to/audio.wav",
)

print(results[0].text)

Limitations

• This model was fine-tuned specifically for Korean speech recognition; performance on other languages may be similar to the base model or require separate validation. In particular, English (LibriSpeech) WER is slightly higher than that of the base model (0.0277 vs. 0.0250).
• Evaluation is based on the benchmark datasets listed above; results may differ in real-world production conditions (noise, speaker variability, etc.).

---

한국어 (Korean)

English | 한국어

이 모델은 Qwen/Qwen3-ASR-1.7B를 한국어 음성 데이터로 파인튜닝한 자동 음성 인식(ASR) 모델이며, TeamUNIVA/qwen3_asr_1.7b_ko_beta의 후속 모델입니다. beta 모델에서 시작해, 확장된 데이터셋으로 두 차례의 SFT와 강화학습(GSPO)을 추가로 수행했습니다. 한국어 벤치마크 전반에서 기본(base) 모델과 beta 모델보다 낮은 오류율을 보이며, 영어(LibriSpeech)에서는 소폭 하락했습니다(base 모델 대비 WER +0.27 %p).

평가 결과

한국어는 CER(문자 오류율), 영어는 WER(단어 오류율)로 측정했으며, 두 지표 모두 낮을수록 좋습니다. 점수는 텍스트 정규화(구두점 제거, 소문자화; LibriSpeech는 Whisper 영어 normalizer 사용) 후 계산했습니다. "변화" 열은 base 모델 대비입니다.

kocer를 이용한 추가 평가

kocer(v0.1.5)는 띄어쓰기, 문장부호, 숫자 표기(예: 3개 = 세 개), 라틴 약어 표기(예: AI = 에이아이)의 차이를 오류로 세지 않는 한국어 음성 인식용 CER입니다. 위와 동일한 검수 평가셋에서 같은 모델 출력을 kocer로 다시 채점했습니다. 위와 마찬가지로 각 발화를 TN 전사와 ITN 전사 각각에 대해 채점하고 더 좋은 쪽을 사용했습니다. 낮을수록 좋으며, "변화" 열은 base 모델 대비입니다.

위 지표와 순위는 동일합니다. kocer 점수는 어느 전사를 정답으로 쓰는지에 거의 좌우되지 않습니다. 본 모델의 한국어 전체는 TN 전사만 사용하면 0.0481, ITN 전사만 사용하면 0.0491, 둘 중 더 좋은 쪽을 쓰면 0.0472입니다.

평가셋

위에서 사용한 공개 한국어 벤치마크 평가셋은 모두 사람이 전수 검수했습니다. 각 발화마다 TN/ITN(텍스트 정규화 / 역정규화) 이중 전사 여부를 확인하고, 품질이 낮은 샘플은 제외하고, 오전사는 수정했습니다. 이후 모든 발화를 TN 전사와 ITN 전사 각각에 대해 평가하고, 둘 중 점수가 더 좋은 쪽을 최종 집계에 사용했습니다. 검수 후 원본 8,489건 중 8,383건이 남았습니다(106건 제외).

예시

모델별(base → beta → 본 모델) 실제 인식 결과가 어떻게 달라지는지 보여주는 예시입니다. 각 예시에는 오디오가 함께 제공되며(이 저장소의 audio/ 폴더), 표 위의 플레이어로 들어볼 수 있습니다.

예시 1

예시 2

예시 3

예시 4

예시 5

예시 6

예시 7

학습

TeamUNIVA/qwen3_asr_1.7b_ko_beta(그 자체로 Qwen/Qwen3-ASR-1.7B를 SFT만으로 파인튜닝한 모델)에서 시작해, ms-swift를 사용하여 전체 파라미터를 업데이트하는 4단계를 순차적으로 학습했습니다.

RL 단계는 GSPO(Group Sequence Policy Optimization)를 사용하며, 샘플링한 전사 결과의 정답 대비 문자 오류율을 보상으로 삼습니다.

사용법

base 모델과 동일한 qwen-asr 패키지를 사용합니다.

pip install -U qwen-asr

import torch
from qwen_asr import Qwen3ASRModel

model = Qwen3ASRModel.from_pretrained(
    "TeamUNIVA/qwen3_asr_1.7b_ko",
    dtype=torch.bfloat16,
    device_map="cuda:0",
    max_inference_batch_size=32,
    max_new_tokens=256,
)

results = model.transcribe(
    audio="path/to/audio.wav",
)

print(results[0].text)

한계

• 이 모델은 한국어 음성 인식에 특화되어 파인튜닝되었습니다. 다른 언어에서의 성능은 base 모델과 비슷하거나 별도 검증이 필요할 수 있습니다. 특히 영어(LibriSpeech) WER은 base 모델보다 약간 높습니다(0.0277 vs. 0.0250).
• 평가는 위에 나열한 벤치마크 데이터셋을 기준으로 하며, 실제 운영 환경(소음, 화자 편차 등)에서는 결과가 다를 수 있습니다.