Breeze-ASR-26-int8-CT2

本模型由 MediaTek-Research/Breeze-ASR-26 轉換為 ctranslate2 量化格式，未額外微調。

量化

資料來源：教育部臺灣台語常用詞辭典例句音檔，取 hanzi 長度最長的 100 筆樣本。

CER 以原始 HF float16 推論結果作為偽參考，用來衡量轉換/量化後的輸出偏移；這不是人工標註逐字稿 CER。計算前會先移除所有空白，再計算字元級 Levenshtein 距離。

量化部署建議優先使用 CT2 int8：100 筆全數成功，VRAM 約 2097-2129 MiB，相對 HF float16 基準的 CER 為 0.1263。

版本	結果檔	成功/總數	VRAM MiB
vLLM HF `float16`	`vllm-hf-float16.jsonl`	100/100	21267-21267
CT2 `float16`	`ct2-float16.jsonl`	100/100	3991-3991
CT2 `int8_float16`	`ct2-int8_float16.jsonl`	100/100	2103-2135
CT2 `int8`	`ct2-int8.jsonl`	100/100	2097-2129
whisper.cpp / GGML `q4_0`	`whisper-cpp-ggml-q4_0.jsonl`	100/100	1843-1843
whisper.cpp / GGML `q4_1`	`whisper-cpp-ggml-q4_1.jsonl`	100/100	1935-1935
whisper.cpp / GGML `q5_0`	`whisper-cpp-ggml-q5_0.jsonl`	100/100	2027-2027
whisper.cpp / GGML `q8_0`	`whisper-cpp-ggml-q8_0.jsonl`	100/100	2575-2575

基準：vllm-hf-float16.jsonl。

比較版本	CER	字元錯誤 / 參考字元	完全一致
`ct2-int8_float16.jsonl`	0.1157	633/5470	11
`ct2-float16.jsonl`	0.1176	643/5470	7
`ct2-int8.jsonl`	0.1263	691/5470	5
`whisper-cpp-ggml-q5_0.jsonl`	0.1803	986/5470	5
`whisper-cpp-ggml-q8_0.jsonl`	0.1879	1028/5470	6
`whisper-cpp-ggml-q4_0.jsonl`	0.1927	1054/5470	2
`whisper-cpp-ggml-q4_1.jsonl`	0.2558	1399/5470	2