Qwen3-4B-SC-CodeAgent-500Steps

这是原始 Qwen/Qwen3-4B 经 Score Centering（SC）异步代码任务训练得到的探索性检查点。从第 200 步训练检查点恢复模型、优化器等状态，继续训练至第 500 步，发布为 BF16 推理权重。200 步版本保留独立仓库。

本仓库发布的是第 500 步，不是开发集上表现最好的检查点。 它适合复现实验和分析训练行为，目前不能据此宣称通用代码 agent 能力或 SC 算法优势。

指标

以下均为同一固定 256 题 TACO 开发集上的结果。每题只采样一次：n=1、temperature=0.6、top_p=1.0、top_k=-1；每 25 步评估一次。

第 475 步是已记录验证点中的最高准确率，但当时没有保存权重，不能从评估日志恢复该模型。本次发布不以第 475 步分数代表第 500 步权重。

acc 要求一题的最终代码通过全部保存测试；训练奖励 pass_rate 是该题通过测试的比例，再逐题平均。两者不同：从 200 到 500 步，平均测试通过率上升，但全对题数下降。format_ok 只表示末次助手回答中能提取代码，不代表代码正确。

全程 32,000 条训练轨迹中，只有 **41 条（约 0.13%）**实际执行过工具；最终开发集工具使用率为 0。最后 50 步的训练截断率平均为 8.34%，第 200 步之前最后 50 步为 40.81%。格式与截断有所改善，但没有形成稳定的工具使用行为。

完整曲线数值见逐步指标。SwanLab：1–200 步、201–500 步。

方法与数据

• 框架与资源：verl 原生 ToolAgentLoop + 自定义、无状态的 run_python，8 × A100 80GB，4 张 FSDP2 训练、4 张 vLLM rollout。不是 Harbor、Terminal-Bench 或 SWE 环境。
• 目标：REINFORCE 形式的策略损失 + top-128 近似 SC；每题 4 个回答，奖励减去组内均值，不按标准差归一化。不使用 TIS、RS、PPO clipping、critic、KL 惩罚或工具调用奖励。
• 优化：AdamW，恒定学习率 1e-6，weight decay=0，梯度范数裁剪 1.0；BF16 计算、FP32 主参数。每训练步 16 题 × 4 条轨迹。
• 异步：自然 separate_async，每步同步权重，max_off_policy_threshold=4、drop；不是人为给所有样本固定增加 4 步延迟。
• 长度与采样：thinking 模式；prompt 上限 4,096、响应上限 8,192 tokens，最多 6 个助手轮次。训练使用 temperature=1.0、top-p=1.0，不启用生成 top-k 截断。SC 的 top-128 是概率记录宽度。
• 数据：TACO 的固定训练分片 02、03、04，经标准输入/输出接口筛选、身份去重和隔离参考解校验，划分为 2,000 题 train + 256 题 dev。这不是官方 TACO test，也不是整个 TACO 的随机抽样。上游 revision：d593ed0a2becbbc952230bb89be09189bf1056dc。

隐藏测试只供最终判题，不作为工具反馈。Python 程序在 Landlock + seccomp 隔离环境中运行，限制网络、文件和进程访问；单测试 3 秒、每题累计执行预算 90 秒，排队不计入该预算。完整参数见配置摘要。

使用范围与局限

本仓库包含 BF16 推理权重、tokenizer、指标和配置摘要，不含优化器状态或完整 agent harness。已逐张量核验导出结果与源分片的 BF16 转换一致，并完成本地加载和短前向检查；详见转换清单。以上分数来自训练期间评测，导出后未重新运行完整开发集。

单次运行，没有 step-0 基线、匹配的无 SC 对照或多种子重复；开发集已被反复评估，尚无 LiveCodeBench 分数。不能据此判断 SC 优劣或通用 agent 能力，也不能仅凭最后一次分数下降断言稳定退化。

参考：Score Centering 论文、verl、Qwen3-4B。