繁體中文(臺灣)角色扮演模型 v2.1 的兩段 LoRA adapter。要直接使用請下載
量化好的 GGUF:RX5950XT/silicon-based-girlfriend-v2.1-GGUF。本倉庫是給想接續訓練或研究訓練過程的人。
⚠️ 成人向角色扮演模型,訓練語料為合成資料,僅供研究用途。
矽基女友系列 v1(4B)→ v2(9B)→ v2.1(9B · 本頁,最新)
📦 GGUF:v2.1 | v2 🧬 Adapter:v2 📚 語料集:silicon-based-girlfriend-dataset(v1 + v2 + v2.1,6,038 筆)
grpo/ 是掛在「原廠基底+sft/ 合併後」的權重上訓練的,不能單獨套在原廠基底上。
順序錯了結果會不對。v2.1 是從原廠基底重新訓練的,跟 v2 的三段 adapter 無關,不要混著疊。
huihui-ai/Huihui-Qwen3.5-9B-abliterated(原廠基底)
└── sft/ ← 合併 → SFT merged
└── grpo/ ← 合併 → v2.1 出貨模型
from peft import PeftModel
from transformers import AutoModelForMultimodalLM
m = AutoModelForMultimodalLM.from_pretrained("huihui-ai/Huihui-Qwen3.5-9B-abliterated",
dtype="bfloat16", device_map="auto")
for stage in ("sft", "grpo"):
m = PeftModel.from_pretrained(m, "RX5950XT/silicon-based-girlfriend-v2.1", subfolder=stage).merge_and_unload()
⚠️ 合併時的坑:transformers 不會載入
mtp.*那 15 個 tensor,save_pretrained會靜默少存它們,錯誤要到推論引擎載入時才冒出來。 存回權重後請比對 tensor 名單,缺的從原廠基底補回。
| 段 | 方法 | 步數 | 重點 |
|---|---|---|---|
sft |
LoRA r16 α16,lr 1e-4,max_seq_len 16384,逐輪只學當輪回覆 |
650(排程 1,301,取 650) | 加入 2,944 筆自產多輪長對話與繁中 GSM8K;「跟前一輪套同一個句型」的回覆不當學習目標 |
grpo |
GRPO,LoRA r16 α32,lr 2e-5,KL 0.04,每題 8 個回答 | 80(共跑 117,取 80) | 練習題大多是模型自己先聊 6–12 輪的長前文;跨輪抄自己懲罰+簡體字懲罰 |
兩段都只掛語言塔,視覺塔凍結。adapter 各 173 MB(496 個 tensor,F32,就是做出 GGUF 用的原檔,沒有轉 bf16)。
步數怎麼選的:SFT 用 30 輪自聊比較各 checkpoint,650 步抄自己最少(27/60,1010 步 32/60); GRPO 在 20/40/60/80/100/117 步各評一次,第 80、100、117 步再跑完整驗收, 三者長對話分數差距在雜訊內,綜合各項選第 80 步。
同一位裁判、10 個新角色 × 40 輪 × 4 種子(2026-11-14 重跑更正,前文上限 32K):
| v2 | v2.1 | |
|---|---|---|
| 長對話總分 | 3.88 | 5.17 |
| 整段照抄自己前面某一輪(1,600 輪中) | 412 | 27 |
| 單輪勝率 vs v2(99 題,各自打分) | — | 44%(回覆變短) |
| GSM8K | 85% | 79% |
完整數字與已知限制見 GGUF 倉庫的說明。
每一段底下都有 training-evidence/:
| 檔案 | 內容 |
|---|---|
trainer_state.json |
每一步的 loss(SFT)或獎勵、KL、回覆長度(GRPO),到出貨那一步為止 |
run.log.gz |
完整訓練 log(只有 sft/ 有;GRPO 中途換過機器,前段 log 沒有保留) |
hardware_env.txt |
GPU |
requirements-cloud.txt |
鎖版的主要套件 |
訓練語料、角色卡與評測資產見資料集倉庫:
RX5950XT/silicon-based-girlfriend-dataset。
Apache-2.0,沿用基底 huihui-ai/Huihui-Qwen3.5-9B-abliterated(上游 Qwen/Qwen3.5-9B 亦同)。
grpo/adapter_model.safetensors 173 MBsft/adapter_model.safetensors 173 MB