public-sft-qwen9b-v9 · Qwen3.5-9B × kanhatakeyama/ramdom-to-fixed-multiturn-Calm3（日文合成多轮对话）LoRA 适配器（实验产物）

English TL;DR. A LoRA adapter (r=32, alpha=64) for Qwen/Qwen3.5-9B, trained with QLoRA for 3 epochs / 192 optimizer steps on a 1,024-example subset of kanhatakeyama/ramdom-to-fixed-multiturn-Calm3 (apache-2.0, revision 01ec4ac58efac18fa45fc36cf06ab882ed0884f3, https://huggingface.co/datasets/kanhatakeyama/ramdom-to-fixed-multiturn-Calm3). The training data is synthetic: per the upstream card, it is multi-turn Japanese data auto-generated with CALM3 (cyberagent/calm3-22b-chat, apache-2.0); part of the computation used the TSUBAME4.0 supercomputer at Tokyo Institute of Technology. It is not human-written data. Training only: no evaluation of any kind was run, so no claim is made about Japanese ability (or any other ability). The adapter weights are released under apache-2.0; the dataset's own license is not changed by this release. This is a lab experiment, not a product.

本仓库是一个 LoRA 适配器：在 Qwen/Qwen3.5-9B 上，用公开数据集 kanhatakeyama/ramdom-to-fixed-multiturn-Calm3（日文多轮对话；由 CALM3-22B-chat 自动生成的合成数据）随机抽取的 1024 条做了一轮指令微调（SFT）。 只做了训练，没有做任何评测。 本卡所有数字都取自这一轮训练的实际产物（训练记录、训练元数据、适配器文件本身）以及对数据筛选的复算；没有估算值。

⚠ 请先读这两条

1. 训练数据是合成数据，不是人工撰写。 上游数据集卡原文："Calm3で自動生成したマルチターンデータです｡" "一部の計算には東京工業大学のスーパーコンピュータTSUBAME4.0を利用しました｡" 即：多轮对话由 cyberagent/calm3-22b-chat（许可 apache-2.0；上游卡原文写作「Calm3」）自动生成，部分计算使用了东京工业大学的 TSUBAME4.0 超级计算机。对话内容是模型生成的，其中的事实错误、推理缺陷、文体偏好与偏差会原样进入训练；本轮没有对内容做任何人工核对或质量过滤。
2. 不声称任何日文能力。 训练数据虽然是日文，但本轮没有做任何评测（没有基准、没有验证集、没有人工抽检生成结果），因此无法说明本适配器在日文或任何其他方面比基座更好、更差或没有变化。

Provenance 一览

文件 Files

不包含：合并后的完整权重、中间 checkpoint（第 100 步）、优化器状态、训练语料或其副本。训练数据请从上游获取。

数据 Data

• 数据集：kanhatakeyama/ramdom-to-fixed-multiturn-Calm3。来源 URL：https://huggingface.co/datasets/kanhatakeyama/ramdom-to-fixed-multiturn-Calm3
• 快照：revision 01ec4ac58efac18fa45fc36cf06ab882ed0884f3，取其中的 data/20240806filtered-00000-of-00001.parquet（split 名 20240806filtered，11,078 行）。parquet 另有 qid / text 两列，训练只用 messages 列。
• 合成来源：上游数据集卡原文为「Calm3で自動生成したマルチターンデータです｡」「一部の計算には東京工業大学のスーパーコンピュータTSUBAME4.0を利用しました｡」——即由 cyberagent/calm3-22b-chat（许可 apache-2.0）自动生成的多轮对话，部分计算使用了东京工业大学 TSUBAME4.0 超级计算机。训练数据全部是模型生成的合成文本。
• 许可：上游数据集卡 YAML 头逐字为 license: apache-2.0。Apache-2.0 允许再分发与商用。原数据集许可不因本发布而改变。 生成数据所用模型的使用条款，请以其上游为准。
• 筛选（CPU 复算，口径与训练读取一致，脚本 convert_ramdom_calm3.py，统计 convert_report.json）：
  • parquet 全量 11,078 行 → 扫描 11,078
  • → 要求 user/assistant 严格交替、以 user 开头、以 assistant 结尾，内容非空，无 chat-template 特殊 token：不合格 0 条
  • → 按整段对话去重，丢弃完全重复 40 条 → 可用 11,038
  • → 用 Qwen3.5-9B chat template（apply_chat_template(..., add_generation_prompt=False)）实测 token 长度，丢弃 >1024 的 4,285 条
  • → fit 6,753 → random.Random(42).shuffle 后取前 1,024 条写入训练文件（多轮对话保留）
• 训练文件：train.jsonl 1,024 行，sha256 7a3294a3c101e632aac99a0dc222e87b855c95962233219790fa697e5336aaca，逐行 json.loads 全通过。
• 子集长度（token，含 chat template）：p50 752 / p90 961 / max 1024，均值 717.8，合计 735,065 token/epoch。
• 子集结构：无 system 指示；user/assistant 1 对 149 条 / 2 对 875 条。
• 映射：{"messages":[{role,content}...]}，user / assistant 严格交替；多轮对话保留。
• loss 只算在 assistant 回复 token 上（all_tokens_loss=false）；user 部分与模板标记不计入。

训练配置 Training

训练集 loss：第 5 步 1.499，第 190 步（最后一个记录点）0.902。这只是训练集上的 loss，不是验证或评测指标；本轮没有验证集。对合成数据，训练集 loss 下降只说明模型更贴合生成模型的回复风格，不说明回答质量。

怎么用 Usage

import torch
from transformers import AutoModelForImageTextToText, AutoTokenizer
from peft import PeftModel

base_id = "Qwen/Qwen3.5-9B"
adapter_id = "alfaplus/public-sft-qwen9b-v9"

tok = AutoTokenizer.from_pretrained(adapter_id)
# 用 AutoModelForImageTextToText 加载基座(与训练时一致)。Qwen3.5 的 checkpoint 是 *ForConditionalGeneration,
# 用 AutoModelForCausalLM 加载可能静默漏掉文本解码器权重(只打警告),LoRA 也就挂不对地方。
base = AutoModelForImageTextToText.from_pretrained(
    base_id, revision="c202236235762e1c871ad0ccb60c8ee5ba337b9a",
    dtype=torch.bfloat16, device_map="auto")
model = PeftModel.from_pretrained(base, adapter_id)

msgs = [{"role": "user", "content": "次の文章を一文で要約してください。"}]
inputs = tok.apply_chat_template(msgs, add_generation_prompt=True, enable_thinking=False,
                                 return_tensors="pt", return_dict=True).to(model.device)
out = model.generate(**inputs, max_new_tokens=256)
print(tok.decode(out[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True))

• 这段示例代码没有在本发布流程中实际运行过（准备发布时不占用 GPU）。加载方式（AutoModelForImageTextToText + PEFT）与训练脚本一致，但请自行验证。
• 训练样本采用 enable_thinking=False 的格式（空思考块）；思考模式下的行为没有评测。
• 训练时基座是 4-bit NF4 加载的；挂到 bf16 基座上的差异没有测过。

tokenizer 说明（对本仓库实测）

本仓库附带的 tokenizer.json 不是基座 tokenizer.json 的逐字节副本（chat_template.jinja 则与基座逐字节相同）。本仓库这份的预切分（pre-tokenizer）正则是 (?i:'s|'t|'re|'ve|'m|'ll|'d)|[^\r\n\p{L}\p{N}]?\p{L}+|\p{N}|…——其中 \p{L} 一处不含组合附加符类 \p{M}，而基座文件写的是 [^\r\n\p{L}\p{N}]?[\p{L}\p{M}]+。这是 transformers 5.15.0 保存 Qwen3.5 tokenizer 时的已知行为。也就是说，训练时实际使用的切分就是本仓库附带的这份 tokenizer；如果推理栈不经过 transformers、直接读取基座的 tokenizer 文件，含组合附加符的文本会被切得和训练时不同。

已知局限 Limitations

• 训练量小：只训了 3 epoch / 192 步，只用了 1,024 条样例（取自 6,753 条满足长度限制的随机子集，不代表全量 11,078 行的分布；全量中约 39% 的对话超过 1024 token 被丢弃，子集偏向较短的对话）。
• 合成数据：训练数据全部是模型生成的（CALM3-22B-chat 自动生成），没有人工撰写或人工核对；生成模型的事实错误、推理缺陷、偏差和文体习惯会被学进去。上游数据集卡自述的局限同样适用。
• 没有任何评测：只跑了训练，没有做任何基准评测，没有留出验证集，也没有人工检查生成结果。上面的 loss 只是训练集 loss，不能说明泛化能力或与基座的优劣。不声称任何日文能力。
• 单一 seed，未做超参搜索：只有 seed 42 这一次运行，结果的稳定性未知。
• 交付形态：交付 LoRA 适配器本体，未合并权重；合并 / 低比特量化（如 GGUF）之后的效果未验证，低比特量化可能削弱适配器的作用。
• 训练与推理条件：训练时基座 4-bit NF4；其他精度 / 思考模式未测。
• 多轮对话的行为未评测：训练数据以 2 对的多轮对话为主（user/assistant 严格交替），但本轮未对多轮 / 单轮分别做评测。
• 没有任何保证：未做安全评测或红队测试。这是实验室的实验产物，不是产品。

许可 License

• 适配器权重：apache-2.0。 本仓库 YAML 中的 license: apache-2.0 指适配器权重与本卡。
• 训练数据：apache-2.0（上游数据集卡 YAML 头逐字 license: apache-2.0）。原数据集许可不因本发布而改变。 本仓库不包含 ramdom-to-fixed-multiturn-Calm3 数据或其衍生副本；如需使用数据，请从上游按其许可获取。生成模型 cyberagent/calm3-22b-chat 为 apache-2.0，以其上游为准。
• 基座模型：Qwen/Qwen3.5-9B 按其自身许可（apache-2.0，https://huggingface.co/Qwen/Qwen3.5-9B/blob/main/LICENSE）发布；使用本适配器需另行获取基座并遵守其条款。

引用 / 出处 Citation

数据集：kanhatakeyama/ramdom-to-fixed-multiturn-Calm3，https://huggingface.co/datasets/kanhatakeyama/ramdom-to-fixed-multiturn-Calm3 。 生成模型：cyberagent/calm3-22b-chat，https://huggingface.co/cyberagent/calm3-22b-chat 。

基座模型：https://huggingface.co/Qwen/Qwen3.5-9B