Granite-4.2-30B-xVITA-zhTW (GGUF)

以 IBM Granite 4.2 30B 為底模、用台灣繁體中文語料微調的模型。它改善的是「講話的方式」，不是「知道的事情」——這點下面有實測數字支持，也請照這個說法描述。適合做台灣繁中問答與 RAG 的生成層。

• 語言：繁體中文（台灣）
• 類型：因果語言模型，dense 29.3B、64 層
• 底座：ibm-granite/granite-4.2-30b
• 訓練：QLoRA（r=16、alpha=32、q/k/v/o_proj），1 epoch、3,154 步；台灣通用繁中語料（已去 TAIDE 血緣）約 5 萬筆
• 授權：Apache-2.0（沿用 Granite 底座）
• 發布格式：GGUF（六階量化）

台灣味：行文風格（這是重點）

同一套考題、同一判官、Q8_0、關閉思考、溫度 0：

原廠底模回答台灣日常問題時會吐出分段、加標題、列點的「AI 報告體」；本模型改成自然的台灣口語散文（關閉思考時平均字數約底模的一半、條列與標題降到 0、AI 腔標記 0）。台灣味的差異在行文風格，不在個別詞彙（常見科技／生活名詞底模本來就偏台灣用語）。

一般能力（實測）

誠實說明：

• 台灣知識沒有可證明的提升——與底模同分（連答錯的題都一樣）。不要宣稱「台灣知識變強」；這有可能是訓練沒提升、也可能是這份 22 題考題鑑別力不足，在編出更有鑑別力的題庫前維持「無法證明」。
• 程式能力差一題，落在 25 題小尺的雜訊範圍。
• 工具呼叫（agent）未因微調受損，可當 RAG 的生成＋工具層。

在 xVITA RAG 套件組中的位置

本模型是云碩 xVITA 台灣繁中語音 RAG 套件組的主力生成＋工具層。完整迴圈（每一環都是自訓繁中模型）： 語音聽寫（Whisper-xVITA）→ 語意檢索（xVITA-Embed）→ 重排序（xVITA-Rerank）→ 本模型：生成＋工具呼叫（看圖走 Gemma-4 xReadable OCR）→ 台灣腔語音合成（xVITA-TTS）。 答案踩在檢索到的台灣文件上重寫，台灣口語行文在 RAG 裡尤其加分；整套可全地端私有化。

量化階（GGUF）

IQ 階以校準語料計算 importance matrix；完整精度權重保留為私有，不隨本倉庫發布。

使用方式

思考型（reasoning）模型。預設關閉思考，與訓練格式一致、行文較符合一般問答：

llama-server -m model-Q8_0.gguf -c 32768 -ngl 999 --jinja --reasoning off

• 做 agent／工具呼叫：上下文至少 32k（8k 會截斷工具呼叫 JSON、伺服器回 500），並關閉思考。
• 需要推理類問答再開啟思考，並把 max_tokens 放大到 2048 以上，否則思考會吃光輸出配額、content 回空。

來源與血緣

本模型 ← 台灣通用繁中語料 QLoRA 微調 ← ibm-granite/granite-4.2-30b（Apache-2.0）。 由 xCloudinfo（云碩科技） 製作與發布。另有開放版（降低過度拒絕）見 Granite-4.2-30B-xVITA-zhTW-Uncensored-GGUF。

---

Granite-4.2-30B-xVITA-zhTW (GGUF) — English

A Traditional-Chinese (Taiwan) fine-tune of IBM Granite 4.2 30B. It changes how the model writes, not what it knows — supported by the measurements below, and that is how it should be described. Suited to Taiwanese-Chinese Q&A and as the generation layer of a RAG stack.

• Language: Traditional Chinese (Taiwan)
• Type: causal LM, dense 29.3B, 64 layers
• Base: ibm-granite/granite-4.2-30b
• Training: QLoRA (r=16, alpha=32, q/k/v/o_proj), 1 epoch, 3,154 steps; ~50k Taiwanese-Chinese examples
• License: Apache-2.0 (inherited from Granite)
• Release format: GGUF (six quantization tiers)

Taiwanese style: writing voice (the point)

Same question set, same judge, Q8_0, thinking off, temperature 0:

The stock base answers everyday Taiwanese questions as segmented, headed, bulleted "AI reports"; this model writes natural Taiwanese prose instead (about half the length with thinking off, bullets/headings down to 0, AI-tone markers 0). The difference is in writing voice, not individual vocabulary (the base already leans Taiwanese for common tech/daily terms).

General capability (measured)

Honestly: Taiwan knowledge shows no provable gain (identical to the base, same questions even wrong the same way) — do not claim a knowledge improvement; coding is one question down, within noise; tool use (agent) is intact, so it works as the generation + tool layer of a RAG stack.

Role in the xVITA RAG stack

This model is the primary generation + tool-use layer of xCloudinfo's xVITA Traditional-Chinese voice RAG stack: speech-to-text (Whisper-xVITA) → semantic retrieval (xVITA-Embed) → reranking (xVITA-Rerank) → this model: generation + tool calls (images via Gemma-4 xReadable OCR) → Taiwanese-accent TTS (xVITA-TTS). Answers are rewritten grounded on retrieved Taiwan documents; the Taiwanese writing voice matters most inside RAG, and the whole stack can run fully on-premises.

Quantization tiers (GGUF)

Q8_0 (~31 GB) / Q6_K (~24) / Q5_K_M (~21) / Q4_K_M (~18, recommended) / IQ4_XS (~16) / IQ2_M (~10). IQ tiers use an importance matrix; full-precision weights are kept private.

Usage

Reasoning model; thinking off by default:

llama-server -m model-Q8_0.gguf -c 32768 -ngl 999 --jinja --reasoning off

For agents, give it ≥32k context and keep thinking off; for reasoning-style Q&A turn thinking on and raise max_tokens to 2048+.

Lineage & license

This model ← Taiwanese-Chinese QLoRA fine-tune ← ibm-granite/granite-4.2-30b (Apache-2.0). Made and released by xCloudinfo. An open (reduced over-refusal) version is at Granite-4.2-30B-xVITA-zhTW-Uncensored-GGUF.