中文角色扮演对话模型,基于 Qwen/Qwen3-8B 用 QLoRA 微调。
| 项目 | 内容 |
|---|---|
| 方法 | QLoRA,assistant-only loss |
| 数据量 | 2,034 条中文多轮对话 |
| 数据构成 | 双上下文合成对话(对话双方均由 API 生成)+ 少量自有对话 |
| 格式 | ChatML(Qwen3 原生模板) |
数据生成方式:用两个不同的模型分别扮演「角色」和「用户」逐轮生成对话, 每 5 轮插入一次「导演」提示调整走向,最后对每轮回复做一次扩写(控制在 100–150 字) 以保证长度一致。
ollama create roleplay -f Modelfile
Modelfile:
FROM ./Qwen3-8B-Roleplay-CN-v7-Q4_K_M.gguf
PARAMETER num_ctx 16384
PARAMETER temperature 0.85
PARAMETER stop "<|im_end|>"
⚠️ 重要:推理时不要传 think: false。实测这个参数在长上下文下会让模型只输出
</think> 然后停止(正文 0 字)。不传该字段或用 think: true 都正常。
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
base = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-8B")
model = PeftModel.from_pretrained(base, "don0ox1/Qwen3-8B-Roleplay-CN-v7")
tok = AutoTokenizer.from_pretrained("Qwen/Qwen3-8B")
thinking 通道、
content 留空。如果遇到空回复,检查响应里的 thinking 字段。@misc{qwen3-8b-roleplay-cn-v7,
title = {Qwen3-8B-Roleplay-CN-v7},
author = {don0ox1},
year = {2026},
base = {Qwen/Qwen3-8B},
}
Qwen/Qwen3-8B