NeurIPS 论文：LLM 自博弈 RL 崩溃根因是数据门控而非奖励
shangbinfeng · x · 2026-10-17
论文《Survive or Collapse》被 NeurIPS 2026 接收，研究 LLM 自博弈强化学习为何经常崩溃。
- 主流修法都盯着奖励信号，作者认为这是错的抓手；真正的约束是数据门控（Data Gating）：决定哪些自生成任务进入训练池。
- 崩溃可追溯到自生成错误的反馈回路：错误任务混入训练池后不断自我强化，最终导致能力坍缩。
- 结论：想稳住 self-play RL，先管好「什么数据能进训练池」，而不是只调 reward。
「研究」频道最新
- APS 全球物理峰会设神经系统物理专场，征稿至2026年10月 — chklovskii · 2026-10-17
- RAX 开源：冻结模型靠在线探索，零演示完成 0.1mm 精密机器人操作 — du_yilun · 2026-10-17
- 开放教材《Elements of Robotics》上线,面向机器人入门学习者 — burkov · 2026-10-17
- 东大 TwinX：一根线连接两台轮腿机器人，形态重构与分布式协作两用 — LexiLove · 2026-10-17
- NVIDIA 公开 Nemotron 中训练配方:500B token 提升智能体能力 — denisyarats · 2026-10-17
- PySR v2 发布：符号回归库历经两年升级，速度大幅提升 — MilesCranmer · 2026-10-17