ROSE online: Olmo-3-7B-Think-SFT ← Qwen3-32B (RLVE, K=1024, 140 步)
跨分词器 online ROSE, 在 RLVE 训练集上训满一个 epoch。
这条线存在的目的是与同配置的 DAPO-Math 那条 (step220) 构成对照 —— 两条只差训练域, K/t、lr、batch、n、教师、优化器全同。 DAPO 上训出来的模型在 RLVE 上掉了 21%(0.1604 → 0.1264), 所以要问: 直接在 RLVE 上训会怎样? 分清是 K=1024 这个设定本身有问题, 还是训练域与评测域不匹配。
配置
student allenai/Olmo-3-7B-Think-SFT vocab 100278
teacher Qwen/Qwen3-32B (TP4, vLLM) vocab 151669 ← 跨分词器
dataset RLVE train (9000 题)
reward rlve_reward (只进日志, CE 忽略 advantages)
cut_mode prefix, K = 1024
teacher_max_tokens 1024
max_prompt_length 2048
lr 1e-5 constant warmup 0 betas [0.9, 0.999] wd 0.01
batch train 64 × n 4 = 256 序列/更新 1 次更新/步
steps 140 (= 9000/64, 一个 epoch)
attn sdpa, use_remove_padding=False 该环境无 flash_attn
训练曲线
前 70 步 ce_loss 均值 0.7789
后 70 步 ce_loss 均值 0.7518 差 −0.0271
grad_norm 收在 0.185-0.199, 不再下降
ce_target_tokens ~1000 (预算 1024 的 97.7%)
response_length ~2020 = 1024 前缀 + ~1000 教师续写
和 DAPO 那条同样的形态: 降一点就进平台。教师依然用满 97.7% 的预算, 几乎从不自己收尾 —— 这是 K=1024 配 thinking 模型的结构性问题: 学生完整推理链上万 token, 监督只覆盖 token 1024-2048。
ce_loss 绝对值比 DAPO 那条高一档(0.75 vs 0.60), 说明 RLVE 的题对 Olmo 更难、 教师的续写更"意外", 可学的信息更多。
评测
RLVE test (180 题, 16k, n=8, temp 0.7 / top_p 0.9):
| avg@8 | pass@8 | 解出 | format_ok | |
|---|---|---|---|---|
| Olmo-3-7B 基线 | 0.1604 | 0.4389 | 79/180 | 0.285 |
| ROSE 220步 (DAPO 训) | 0.1264 | 0.4000 | 72/180 | 0.258 |
| 本模型 (RLVE 训) | 0.1299 | 0.4444 | 80/180 | 0.269 |
同域训练也救不回来: DAPO 训 −21.2%, RLVE 训 −19.0%。这排除了"训练域与评测域 不匹配"这个解释 —— K=1024 这个设定本身就是坏的。
注意本模型在 pass@8(0.4444 vs 基线 0.4389)和解出题数(80 vs 79)上反而略胜基线, 只有 avg@8 明显下降。这与 AIME25 / HMMT25 上观察到的完全同一个签名: pass@k 持平或微涨, avg@k 下降, 截断率上升 —— 输出方差变大而能力边界未动。 同域训练去掉迁移损失这个混淆因素后, 剩下的纯粹就是方差效应。
四次独立观测
| 训练域 | 评测 | 基线 → ROSE | 变化 |
|---|---|---|---|
| DAPO | AIME25 | 0.5917 → 0.5583 | −5.6% |
| DAPO | HMMT25 | 0.4167 → 0.3688 | −11.5% |
| DAPO | RLVE | 0.1604 → 0.1264 | −21.2% |
| RLVE | RLVE | 0.1604 → 0.1299 | −19.0% |
注意 format_ok_rate 只有 0.26-0.29 —— 七成以上输出解析不出 \boxed{},
绝对值被压低; 但同一套解析下的对照成立。
复现
代码与环境约束: rose-opd-implementation
(launchers/olmo/, docs/ENV_NOTES.md, docs/EVAL_PROTOCOL.md)。
评测 rollout 与训练日志: data-dq。