ROSE online: Olmo-3-7B-Think-SFT ← Qwen3-32B (DAPO-Math, K=1024, 220 步)
这是一个负结果。 跑满一个 epoch 后, 两个 benchmark 上都比未训练的基线更差, 且训练量不是原因。放出来是为了让这个失败可复现、可检验。
配置
student allenai/Olmo-3-7B-Think-SFT vocab 100278
teacher Qwen/Qwen3-32B (TP4, vLLM) vocab 151669 ← 跨分词器
dataset DAPO-Math-17k (english)
cut_mode prefix, K = 1024 学生写 1024 token 被切断
teacher_max_tokens 1024 教师从切点续写 1024
lr 1e-5 constant warmup 0
batch train 64 × n 4 = 256 序列/更新 1 次更新/步
steps 220 (= 14116/64, 一个 epoch) 171 s/step, 9h02m
attn sdpa, use_remove_padding=False 该环境无 flash_attn
结果 (avg@16, thinking, temp 0.7 / top_p 0.95 / max_new 31744)
| AIME25 | HMMT25 | |
|---|---|---|
| Qwen3-32B 教师 | 0.7125 | 0.5042 |
| Olmo-3-7B 基线 | 0.5917 | 0.4167 |
| ROSE 30 步 | 0.5750 | 0.3854 |
| 本模型 (ROSE 220 步) | 0.5583 | 0.3688 |
单调下降。AIME −0.033, HMMT −0.048。
细项: AIME 解出≥1 次 25→26, 全对 9→7, 截断率 0.077→0.062; HMMT 解出≥1 次 19→19, 全对 5→4, 截断率 0.094→0.119。
为什么失败
不是欠训。 从 30 步到 220 步继续下降; 训练本身早就停滞 —— ce_loss 在 31 步后斜率仅 −0.00012(前 30 步是 −0.00208), grad_norm 从 0.28 降到 0.18。
是 K=1024 这个切点与 thinking 的尺度差了一个数量级。
TEACHER_MAX_TOKENS=1024, 而实测 actor/ce_target_tokens 平均 960
(占预算 93.8%; 同期 Qwen3-4B 那条是 1016, 99.2%)—— 教师几乎每一条都是
写到预算耗尽被截断, 从不自己收尾。而学生完整推理链平均 16000-18600 token。
于是监督只覆盖 token 1024-2048, 约占整条链的 6%:
[prompt] [学生前缀 1024] [教师续写 ~960] ...... 还有 ~15000 token 从没被监督过
^^^^^^^^^^^^^^ CE 只打在这里
学生学到的是"在思考进行到 6% 处该怎么接着往下写", 从没被教过怎么收敛到答案。
表现是输出方差变大而能力边界未动: pass@16 在两个 benchmark 上各 +1 题 (其中 AIME 那题是 0/16 → 1/16, 靠单个样本蒙中), 而 avg@16 与 pass@1 都下降。 AIME 逐题配对: 变好 8 题 / 变差 7 题 / 持平 15 题, 总命中 284 → 276; 原本 16/16 全对的题掉到 11/16。
跨分词器
学生与教师词表完全不同。rose_agent_loop 的通路(TEACHER_TOKENIZER 非 null 即启用):
学生前缀 ids → decode 成文本 → 套教师的 chat template → 教师续写 →
取回 text → 用学生的 tokenizer 重新 encode。
实测: 拼接缝文本两边 round-trip 均无损; 教师续写语义连贯, 不会重复吐 <think>。
格式错位是良性的 —— Olmo 模板在 prompt 末尾就打开 <think>, Qwen3 模板停在
assistant\n, 教师看到「assistant\n + 推理文字」, 续写出的 </think>+答案
接在学生的 <think> 之后正好构成 Olmo 期望的格式。
下一步该怎么做
把切点推到推理链中后段, 给教师足够预算写到结论:
| K | teacher 预算 | 覆盖位置 | |
|---|---|---|---|
| 本模型 | 1024 | 1024 | 链的 6-12% |
| 建议 | 8192 | 4096 | 链的 48-72%, 能写到 </think> |
复现
代码与环境约束: rose-opd-implementation
(launchers/olmo/, docs/ENV_NOTES.md)。
评测 rollout: data-dq。
⚠ 环境有硬约束: verl 0.7 + Olmo3 只能配 vLLM 0.11.0(四条接口约束同时满足),
transformers 留 4.57.6; NCCL 只能关 NVLS 不能关 P2P(关了吞吐掉 16 倍);
verl 的序列打包硬依赖 flash_attn, 无则必须 use_remove_padding=False。