RL训练在简单谜题上提升pass@1，但在困难谜题上可能强化错误模式

burny_tech · x · 2026-07-22

evangelinejy99在推文线程中分析：RL训练在简单谜题上通过放大SFT已偏好的正确动作来提升pass@1，但pass@16增益较小甚至为负。在困难谜题上，RL能从尾部挖掘出正确动作，但也会强化错误模式。

原文链接 →

「研究」频道最新

• forking 收官：probe gap 随上下文频率呈幂律，掩蔽低频 n-gram 可缩小差距 — ZimingLiu11 · 2026-10-27
• 续解 forking：后训练重放同样触发，冻结 n-gram 表可缓解 — ZimingLiu11 · 2026-10-27
• 「forking」机制拆解：n-gram 表把 logits 切成互不干扰的子空间 — ZimingLiu11 · 2026-10-27
• Kimi 研究员刘子鸣提出「forking」现象：过编码设计引发周期性突变式过拟合 — ZimingLiu11 · 2026-10-27
• 被称最佳 LoRA 讲解视频：从几何直觉讲到任务内在维度 — sophiamyang · 2026-10-27
• AutoResearch agent 跑出叉形损失曲线，研究者深挖出「forking」现象 — ZimingLiu11 · 2026-10-27

更多「研究」频道 AI 资讯 →