EEPO 用「采样后遗忘」干预破解 RLVR 训练中的多样性坍缩
burkov · x · 2026-11-13
Burkov 介绍了一篇针对 RLVR（可验证奖励强化学习）训练痛点的文章与 EEPO（Exploration-Enhanced Policy Optimization）方法。
- 问题：在用 pass/fail 客观结果训练模型解数学与逻辑推理题时，模型会过度利用熟悉的高概率解法路径，训练早期输出多样性迅速坍缩，反复采样并强化少数主导行为，陷入局部最优，难以泛化到分布外推理任务。
- 方案：EEPO 采用自适应的 "sample-then-forget" rollout 干预，目标是打破这种自我强化的利用循环，显著提升探索效果。
「研究」频道最新
- SimpleHC：去掉残差混合，仅 2.4% 额外训练时间逼近 mHC 性能 — dots-studio · 2026-11-13
- 蚂蚁集团发布 Duo：支持实时全双工音视频交互的互惠世界模型 — inclusionAI · 2026-11-13
- NVIDIA 发布 BirdDreams：联合生成透视图与 BEV 的自动驾驶世界模型 — nvidia · 2026-11-13
- 北大美团 LongCat 发 G-STAR：自回归图像生成提速 20 倍至 2.5 秒 — meituan-longcat · 2026-11-13
- Kernel Autoresearch：让编码智能体把可迁移归纳偏置写成程序 — kenneth0stanley · 2026-11-13
- 预印本称 Gemma 3 12B 内部已构建空间地图却弃之不用 — IndraVahan · 2026-11-13