mai_replier_9b_v3 — 复古回复器格式 · 无思维链 · 多模态交错嵌入
MaiBot「回复器(replier)」的 9B 完整模型(已合并,开箱即用),复古回复器格式 / 无思维链 / 多模态交错嵌入。 基于 Qwen3.5-9B(
qwen3_5_text,24 层 linear_attention GDN + 8 层 full_attention,vocab 248320)微调。
一、这是什么
这是 MaiBot 生态中的「回复器」模型——一个跑在 QQ 群里、扮演具体角色人设发言的群聊 bot。它读取复古回复器格式渲染的群聊上下文(system 人设 + user 完整模板双消息,图片内联嵌入对应发言位置),直接输出一句符合人设的简洁口语化回复(无思维链)。
| 项 | 值 |
|---|---|
| 架构 | Qwen3.5-9B(Qwen3_5ForConditionalGeneration,24 层 GDN + 8 层 full_attention) |
| 精度 | bf16(18GB) |
| 微调方式 | LoRA SFT(r=64, alpha=32),已合并为完整权重 |
| 思维链 | 无(enable_thinking=False,直接输出回复) |
| 多模态 | 支持(图片交错嵌入对应发言位置) |
| 渲染器 | maibot-dev-retro-v6_2@3a09e4cca2ae |
二、输入格式:复古回复器(system 人设 + user 完整模板双消息)
2.1 完整结构
<|im_start|>system
你的名字是{角色名}{,也有人叫你{别名}}。
{人设描述}<|im_end|>
<|im_start|>user
你正在qq群里聊天,下面是群里正在聊的内容
其中标注 {角色名}(你) 的发言是你自己的发言,请注意区分:
当前时间:YYYY-MM-DD HH:MM:SS
[对话历史行,见 2.2]
现在{目标发言人}说的:{目标消息}。引起了你的注意。
{planner guidance(可选)}
你正在群里聊天,现在请你读读之前的聊天记录,把握当前的话题,然后给出日常且简短的回复。
最好一次对一个话题进行回复,免得啰嗦或者回复内容太乱。
请注意把握聊天内容。
{reply_style(人设语气约束)}
请不要输出违法违规内容,不要输出色情,暴力,政治相关内容,如有敏感内容,请规避。
请注意不要输出多余内容,只输出发言内容就好。
现在,你说:<|im_end|>
<|im_start|>assistant
{一句符合人设的回复}<|im_end|>
2.2 对话历史行格式
每条消息一行:[HH:MM:SS] 发言人 说:内容
- bot 自己的发言:
[HH:MM:SS] {角色名}(你)说:内容 - 回复引用:
[回复了{被回复人}的消息: {被引内容}] - @ 提及:
@某人 - 表情包:
[表情包: 名字];图片占位[图片] - 事件:
[事件-群消息撤回] X 撤回了一条消息等
三、多模态:交错嵌入
user 消息的 content 是 parts 数组,文本和图像按占位符原始位置交替排布:
{"role": "user", "content": [
{"type": "text", "text": "…[15:41:13] 异色眼说:"},
{"type": "image_url", "image_url": {"url": "data:image/jpeg;base64,…"}},
{"type": "text", "text": "\n…现在,你说:"}
]}
图像缩放规则:最近 3 张保留 640 长边,第 4 张及更早缩到 128 长边。
四、采样参数
| 参数 | 值 |
|---|---|
temperature |
0.7 |
top_p |
0.95 |
max_tokens |
256 |
repetition_penalty |
1.15 |
enable_thinking |
False(必传) |
eos_token_id |
[248046, 248044] |
五、快速使用
from transformers import AutoModelForImageTextToText, AutoProcessor
import torch
MODEL = "tcmofashi/mai_replier_9b_v3"
processor = AutoProcessor.from_pretrained(MODEL)
model = AutoModelForImageTextToText.from_pretrained(MODEL, dtype=torch.bfloat16, device_map="auto")
messages = [
{"role": "system", "content": "你的名字是小千。是一个大二在读女大学生…"},
{"role": "user", "content": "你正在qq群里聊天…\n现在,你说:"},
]
text = processor.apply_chat_template(
messages, tokenize=False, add_generation_prompt=True,
chat_template_kwargs={"enable_thinking": False},
)
inputs = processor(text=text, return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=256, temperature=0.7, top_p=0.95,
repetition_penalty=1.15, do_sample=True, eos_token_id=[248046, 248044])
print(processor.tokenizer.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))
vLLM 部署
vllm serve tcmofashi/mai_replier_9b_v3 \
--served-model-name mai_replier_9b_v3 \
--max-model-len 8192 \
--gpu-memory-utilization 0.90 \
--port 8200
六、License
Apache-2.0
七、免责声明
本模型为 QQ 群聊角色扮演用途的社区实验产物,输出不代表任何真实人物观点。