小红书AllSpark提出ROSS，让模型重学历史rollout再涨3-4个点
小红书技术REDtech · wechat · 2026-10-20
小红书 AllSpark Team 发布论文 ROSS（Relearning from Self-Generated Rollouts through Selective Supervision），提出在 RL/on-policy 蒸馏训练结束后，从历史 rollout 中筛选有价值内容再做一轮选择性 SFT，让已有探索继续产生收益。代码已开源。
核心洞察
- 历史 rollout 与当前策略兼容性高（数学题上平均 NLL 与当前输出同为 0.120，远低于外部教师的 0.520）
- 但兼容≠已掌握：曾解决过的 98 道难题，最终模型 pass@1 仅 37.7%，pass@32 才达 99.0%，说明大量有效行为尚未巩固
- 直接对成功轨迹全量 SFT 反而降分，必须做选择性监督
方法流程
- 用任务验证器筛出成功轨迹（数学验证答案、代码跑测试、Agent 用环境信号）
- 用 LLM judge（GLM-5.2 high-thinking）审核定位值得模仿的原始片段，舍弃无法选出可靠监督的样本
- 带掩码 SFT：保留完整上下文，只对选中的模型生成 token 计算损失——错误尝试不作为模仿目标，但保留为理解后续修正的上下文
实验结果（基于 Qwen3.6-35B-A3B）
- 单轮 RL：数学 75.19%→76.98%，代码 42.09%→44.21%
- 多教师 on-policy 蒸馏：均分 58.40%→62.20%（+3.80），六项评测全升
- Agentic RL：SWE-bench Verified 上 64.20%→68.40%（+4.20）
「编程与Agent」频道最新
- 50+ 免费 AI Agent 学习资源合集：视频与仓库一站打包 — ifioknkem · 2026-10-23
- 自封「全网最佳」的免费 AI Agent 资源库引围观 — ifioknkem · 2026-10-23
- Vercel 推出免注册部署：拖拽文件到首页即得线上 URL — steren · 2026-10-23
- 5 个 Claude Code 会话经 MCP 互发邮件，组队攻破多品牌网络摄像头 — doodlestein · 2026-10-23
- Vercel 上线 vercel deploy --temporary,可临时部署后自动清理 — cramforce · 2026-10-23
- 用同一个 Notion 工作区让多个 Agent 互相沟通分工，实测有效 — nbaschez · 2026-10-23