Model Card for Marble-3B-Instruct
Marble-3B-Instruct 是 Marble-3B（Granite 3.1 3B-A800M MoE 之繁中 CPT 版本）的指令微調版本，以繁中對話資料完成 SFT，提供 MoE 架構下的台灣語境繁中對話能力。
⚠️ 規格重點： 本模型為 3B Mixture-of-Experts（MoE）模型、純文本單模態。
Model Details
MoE 架構在推論時僅活化部分專家權重，可在保留模型容量的同時降低推論成本。本模型在 Marble-3B 之繁中 CPT 底座上做指令微調，目標是讓 MoE 架構在繁中與台灣語境下提供穩定可用的對話能力。
核心特點 (Key Features)
- MoE 架構對話模型：推論成本相對於同容量稠密模型更低。
- 台灣語境對齊：訓練資料以繁中與台灣常見任務為主。
- 可端側部署：3B 規模友善於消費級硬體。
Model Description
- Developed by: Liang Hsun Huang
- Base model: lianghsun/Marble-3B
- Model type: GraniteMoeForCausalLM (Transformers)
- Language(s) (NLP): Traditional Chinese, English
- License: Apache-2.0
- Finetuned from model: lianghsun/Marble-3B
Model Sources
- Repository: lianghsun/Marble-3B-Instruct
Citation
@misc{marble_3b_instruct,
title = {Marble-3B-Instruct: A Traditional Chinese Instruction-Tuned Granite 3B-A800M MoE Model for Taiwan},
author = {Huang, Liang Hsun},
year = {2025},
howpublished = {\url{https://huggingface.co/lianghsun/Marble-3B-Instruct}}
}