Gemma-4-31B-xVITA-zhTW-GGUF
云碩科技 · xCloudinfo · 系列：xVITA · 台灣通用繁中
以 google/gemma-4-31B-it（dense、31B、多模態指令模型）為基底，使用云碩自有「台灣通用繁體中文」語料（v5）微調而成的 GGUF（llama.cpp / Ollama） 版本，含視覺投影器（mmproj），可圖文對話。語料以真實瀏覽器開網頁抓取原文改寫、標註出處，未經第三方模型蒸餾。六階量化齊全，依裝置 VRAM／記憶體選用。
本輪微調僅針對語言端投影層，視覺塔完全未更動，沿用母模原版；已實測驗證（真實圖片辨識形狀、顏色、文字皆正確）。母模同時具備音訊塔，但本次未轉出音訊投影器，僅提供視覺。
訓練摘要
- 方法：QLoRA（r=16, alpha=32, target modules: q/k/v/o_proj），bf16 基底、4-bit 量化訓練
- 資料：約 13 萬筆（依訓練設定 8,132 步、有效批次 16、1 epoch 反推），單一領域（台灣通用繁中，不與其他領域混料）
- 學習率 2e-4，max_seq_len 2048
檔案與用法
| 檔案 | 量化 | 大小 | 用途 |
|---|---|---|---|
model-Q8_0.gguf |
Q8_0 | 32.6 GB | 幾乎無損，資源充足時首選 |
model-Q6_K.gguf |
Q6_K | 25.2 GB | 高品質，效能/精度平衡 |
model-Q5_K_M.gguf |
Q5_K_M | 21.8 GB | 品質與體積折衷 |
model-Q4_K_M.gguf |
Q4_K_M | 18.7 GB | 部署首選，一般裝置最常用 |
model-IQ4_XS.gguf |
IQ4_XS | 16.7 GB | 較小體積，帶 imatrix 校準 |
model-IQ2_M.gguf |
IQ2_M | 10.9 GB | 極限壓縮，記憶體受限裝置 |
imatrix.dat |
— | 13.8 MB | 量化用重要性矩陣（IQ 系列必須） |
mmproj-Gemma-4-31B-xVITA-zhTW-f16.gguf |
f16 | 1.2 GB | 視覺投影器（vision） |
llama-server -m model-Q4_K_M.gguf \
--mmproj mmproj-Gemma-4-31B-xVITA-zhTW-f16.gguf -c 4096 -ngl 99
純文字可省略
--mmproj。把model-Q4_K_M.gguf換成其他階的檔名即可切換量化等級。
授權與來源聲明
- 基底：
google/gemma-4-31B-it，Apache-2.0 + Google Gemma 4 License（含 Prohibited Use Policy）。 - 本模型為云碩科技以自有語料獨立微調（非以第三方模型蒸餾），不涉及第三方授權條款。
- 不得用於軍事或非法用途；須遵守中華民國法律與 EU AI Act。
由 云碩科技 xCloudinfo 於自有 AI 算力資源池製作。