public-sft-qwen9b-v5 · Qwen3.5-9B × llm-jp/magpie-sft-v1.0（日文合成数据）LoRA 适配器（实验产物）

English TL;DR. A LoRA adapter (r=32, alpha=64) for Qwen/Qwen3.5-9B, trained with QLoRA for 3 epochs / 300 optimizer steps on a 1,600-example random subset of llm-jp/magpie-sft-v1.0 (apache-2.0, revision 4f949e18cfa01d99abe6f92e5629157d69737e6d, https://huggingface.co/datasets/llm-jp/magpie-sft-v1.0). The training data is synthetic: per the dataset card, instructions were generated by cyberagent/calm3-22b-chat and responses by Qwen/Qwen2.5-32B-Instruct using the Magpie method (Xu et al. 2024, arXiv:2406.08464). It is not human-written data. Training only: no evaluation of any kind was run, so no claim is made about Japanese ability (or any other ability). The adapter weights are released under apache-2.0; the dataset's own license is not changed by this release. This is a lab experiment, not a product.

本仓库是一个 LoRA 适配器：在 Qwen/Qwen3.5-9B 上，用公开数据集 llm-jp/magpie-sft-v1.0（日文，Magpie 法合成的指令-回复对）随机抽取的 1600 条做了一轮指令微调（SFT）。 只做了训练，没有做任何评测。 本卡所有数字都取自这一轮训练的实际产物（训练记录、训练元数据、适配器文件本身）以及对数据筛选的复算；没有估算值。

⚠ 请先读这两条

1. 训练数据是合成数据，不是人工撰写。 据上游数据集卡原文："cyberagent/calm3-22b-chat was used for generating the instructions, and Qwen/Qwen2.5-32B-Instruct was used for generating the responses." 也就是说，指令与回复都是模型生成的（Magpie 法），其中的事实错误、文体偏好与偏差会原样进入训练。本轮没有对回复内容做任何人工核对或质量过滤。
2. 不声称任何日文能力。 训练数据虽然是日文，但本轮没有做任何评测（没有基准、没有验证集、没有人工抽检生成结果），因此无法说明本适配器在日文或任何其他方面比基座更好、更差或没有变化。

Provenance 一览

文件 Files

不包含：合并后的完整权重、中间 checkpoint（第 100 / 200 步）、优化器状态、训练语料或其副本。训练数据请从上游获取。

数据 Data

• 数据集：llm-jp/magpie-sft-v1.0，由日本的协作项目 LLM-jp 发布的 instruction-tuning 数据集，用 Magpie 法（Xu et al. 2024, arXiv:2406.08464）合成。来源 URL：https://huggingface.co/datasets/llm-jp/magpie-sft-v1.0
• 快照：revision 4f949e18cfa01d99abe6f92e5629157d69737e6d，取其中的 magpie-sft-v1.0.jsonl（284,154,581 字节，132,476 条；上游 LFS sha256 acdb6e6baa892402581213cd0ee07284edfe7ee7d7ec6229e498ad04f649b558，与本地下载文件逐字一致）。
• 合成来源：上游数据集卡原文写明指令由 cyberagent/calm3-22b-chat 生成、回复由 Qwen/Qwen2.5-32B-Instruct 生成。训练数据全部是模型生成的合成文本。
• 许可：上游数据集卡 YAML 头逐字为 license: apache-2.0。Apache-2.0 允许再分发与商用。原数据集许可不因本发布而改变。 生成数据所用模型各自的使用条款，请以其上游为准。
• 筛选（CPU 复算，口径与训练读取一致）：
  • 只扫描文件前 30,000 条（可复现的切片；文件并非按质量排序，全量 132,476 条）
  • → 要求 conversations 恰为 [user, assistant] 两轮：不合格 0 条（扫描范围内全部是单轮，无多轮、无 system 角色）
  • → 去空（strip 后为空）1 条 → 按 (user, assistant) 整对去重 −0 → 可用 29,999
  • → 用 Qwen3.5-9B chat template（apply_chat_template(..., add_generation_prompt=False)）实测 token 长度，丢弃 >1024 的 14 条（0.05%）
  • → fit 29,985 → random.Random(42).shuffle 后取前 1,600 条写入训练文件（1,600 条对应 1,600 个不同 prompt）
• 子集长度（token，含 chat template）：p50 322 / p90 451 / p99 627 / max 725，均值 319.2，合计 510,644 token/epoch。assistant 回复长度（字符）：p50 554，均值 551.7，max 2,337。
• 映射：conversations[0].content → user，conversations[1].content → assistant，两轮消息（{"messages":[{role,content}...]}）。
• loss 只算在 assistant 回复 token 上（all_tokens_loss=false）；user 部分与模板标记不计入。

训练配置 Training

训练集 loss：第 5 步 1.418，第 300 步（最后一个记录点）0.770。这只是训练集上的 loss，不是验证或评测指标；本轮没有验证集。对合成数据，训练集 loss 下降只说明模型更贴合生成模型的回复风格，不说明回答质量。

怎么用 Usage

import torch
from transformers import AutoModelForImageTextToText, AutoTokenizer
from peft import PeftModel

base_id = "Qwen/Qwen3.5-9B"
adapter_id = "alfaplus/public-sft-qwen9b-v5"

tok = AutoTokenizer.from_pretrained(adapter_id)
# 用 AutoModelForImageTextToText 加载基座(与训练时一致)。Qwen3.5 的 checkpoint 是 *ForConditionalGeneration,
# 用 AutoModelForCausalLM 加载可能静默漏掉文本解码器权重(只打警告),LoRA 也就挂不对地方。
base = AutoModelForImageTextToText.from_pretrained(
    base_id, revision="c202236235762e1c871ad0ccb60c8ee5ba337b9a",
    dtype=torch.bfloat16, device_map="auto")
model = PeftModel.from_pretrained(base, adapter_id)

msgs = [{"role": "user", "content": "次の文章を一文で要約してください。"}]
inputs = tok.apply_chat_template(msgs, add_generation_prompt=True, enable_thinking=False,
                                 return_tensors="pt", return_dict=True).to(model.device)
out = model.generate(**inputs, max_new_tokens=256)
print(tok.decode(out[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True))

• 这段示例代码没有在本发布流程中实际运行过（准备发布时不占用 GPU）。加载方式（AutoModelForImageTextToText + PEFT）与训练脚本一致，但请自行验证。
• 训练样本采用 enable_thinking=False 的格式（空思考块）；思考模式下的行为没有评测。
• 训练时基座是 4-bit NF4 加载的；挂到 bf16 基座上的差异没有测过。

tokenizer 说明（对本仓库实测）

本仓库附带的 tokenizer.json 不是基座 tokenizer.json 的逐字节副本（chat_template.jinja 则与基座逐字节相同）。实测对比本仓库这份与基座那份：

• 本仓库这份的预切分（pre-tokenizer）正则是 …[\p{L}\p{N}]?\p{L}+…，而基座文件写的是 …[\p{L}\p{N}]?[\p{L}\p{M}]+…（即基座含 \p{M} 组合附加符类、本仓库这份不含）。这是 transformers 5.15.0 保存 Qwen3.5 tokenizer 时的已知行为。
• 行为探针：直接用 tokenizers 库分别读取基座与本仓库的 tokenizer.json，对 10 条多语种/组合字符探针切分，有 2 条不同（都含组合附加符：天城文、带变音符的阿拉伯文）。
• 对本轮训练用的 1,600 条样本（user / assistant 共 3,200 段文本）逐段比对，两份 tokenizer 的切分0 段不同。
• 也就是说，训练时实际使用的切分就是本仓库附带的这份 tokenizer。如果推理栈不经过 transformers、直接读取基座的 tokenizer 文件，含组合附加符的文本会被切得和训练时不同。

已知局限 Limitations

• 训练量小：只训了 3 epoch / 300 步，只用了 1600 条样例（取自文件前 30,000 条的随机子集，不代表全量 132,476 条的分布）。
• 合成数据：训练数据的指令与回复都是模型生成的（Magpie 法），没有人工撰写或人工核对；生成模型的事实错误、偏差和文体习惯会被学进去。上游数据集卡自述的局限同样适用。
• 没有任何评测：只跑了训练，没有做任何基准评测，没有留出验证集，也没有人工检查生成结果。上面的 loss 只是训练集 loss，不能说明泛化能力或与基座的优劣。不声称任何日文能力。
• 单一 seed，未做超参搜索：只有 seed 42 这一次运行，结果的稳定性未知。
• 交付形态：交付 LoRA 适配器本体，未合并权重；合并 / 低比特量化（如 GGUF）之后的效果未验证，低比特量化可能削弱适配器的作用。
• 训练与推理条件：训练时基座 4-bit NF4；其他精度 / 思考模式未测。
• 只有单轮、只有文本：训练样本全是单轮对话、无 system 提示；多轮对话下的行为未测。只训练了文本解码器；挂上适配器后基座的图像 / 视频能力是否受影响未测。
• 没有任何保证：未做安全评测或红队测试。这是实验室的实验产物，不是产品。

许可 License

• 适配器权重：apache-2.0。 本仓库 YAML 中的 license: apache-2.0 指适配器权重与本卡。
• 训练数据：apache-2.0（上游数据集卡 YAML 头逐字 license: apache-2.0）。原数据集许可不因本发布而改变。 本仓库不包含 magpie-sft-v1.0 数据或其衍生副本；如需使用数据，请从上游按其许可获取。
• 基座模型：Qwen/Qwen3.5-9B 按其自身许可（apache-2.0，https://huggingface.co/Qwen/Qwen3.5-9B/blob/main/LICENSE）发布；使用本适配器需另行获取基座并遵守其条款。

引用 / 出处 Citation

数据集：llm-jp/magpie-sft-v1.0（LLM-jp），https://huggingface.co/datasets/llm-jp/magpie-sft-v1.0 。数据合成方法 Magpie：

@misc{xu2024magpie,
      title={Magpie: Alignment Data Synthesis from Scratch by Prompting Aligned LLMs with Nothing},
      author={Zhangchen Xu and Fengqing Jiang and Luyao Niu and Yuntian Deng and Radha Poovendran and Yejin Choi and Bill Yuchen Lin},
      year={2024},
      eprint={2406.08464},
      archivePrefix={arXiv}
}

基座模型：https://huggingface.co/Qwen/Qwen3.5-9B