微软 TailSFT 提升代码 pass@16 达 16.8 点
dair_ai · x · 2026-08-31
微软研究人员提出 TailSFT 方法，旨在改进标准 SFT 流程以更好地支持 RL。
- 问题：标准 SFT 会持续在模型已拟合的序列上消耗梯度，导致后续 RL 需要探索的分布变窄。
- 方法：TailSFT 在训练中过滤掉这些已拟合序列，将学习集中在数据中建模不足的长尾部分。
- 结果：在 OLMo-3 7B 上，代码 pass@16 绝对值提升达 16.8 点，数学提升 3.1 点。更高覆盖率的检查点使 GRPO 后的最终 pass@1 最多提升 3.9 点，且在某些设置下早期奖励爬升速度比标准 SFT 快 2.5 倍。
「研究」频道最新
- 伯克利团队用扩散模型直接采样机器人策略权重，Unitree G1 真机走跑起舞 — berkeley_ai · 2026-10-16
- HKU 等提出 OneWM：统一因果训练让世界模型与动作学习互相增益 — IAAI233 · 2026-10-16
- 百度提出 Virtual Head Attention：同时压 KV cache、算力并保质量 — baidu · 2026-10-16
- 5.8M 参数语音事件检测器：为 Whisper 转录补上笑声呼吸与背景音 — Ayush Kumar Bar · 2026-10-16
- 华为等提出 SUPRA-Tex：单图生成可重打光 3D 材质，所见即所得 — Chen Yang · 2026-10-16
- RoboVista 机器人理解基准发布:Gemini-4 Argon 81.9% 登顶 — berkeley_ai · 2026-10-16