研究者提议:只模仿成功轨迹的「自 imitation」替代在线 RL
QuintinPope5 · x · 2026-10-13
Quintin Pope 提出一个训练方法构想：RLVR 等方法的常见病理（熵崩塌、奖励 hack 等）主要来自「在线」训练本身，而非奖励函数细节。他据此设想「Self Imitation from Verified Completions」：像 RLVR 一样收集轨迹并验证任务是否完成，但只对成功轨迹做类似预训练的模仿学习，不在线更新参数。
这是一个未经验证的方法假设，指出了在线 RL 与离线模仿之间的一个可能中间路线，适合关注后训练研究的人思考。
所属事件:Quintin Pope：RL 病理多源自在线训练，预训练是其退化特例(5 条相关)→
「研究」频道最新
- Specula 已揪出 500+ 系统缺陷，Apache Ozone 团队实测引入 — tianyin_xu · 2026-10-13
- 学者争论：整数乘法 n(log n)^a 结果是否被误读 — rrwilliams · 2026-10-13
- 自造轮子：为极小复古主机精灵设计像素画上采样 — ssh4net · 2026-10-13
- Preferred Networks 推 T3lescope：多视图图像免逐场景优化重建 3D 场景 — pfnet · 2026-10-13
- Duke 团队发布 ARCS 基准：歧义问题上 GPT 仅 51% 准确率 — megagonlabs · 2026-10-13
- 阿里团队推 TerminalHorizon：合成数据训练终端 Agent 大幅提分 — alibabagroup · 2026-10-13