NYU 团队提出 ExpDis：把探索与优化解耦，七个数学基准超越 DAPO
micahgoldblum · x · 2026-10-13
NYU 研究者（Micah Goldblum 等）发布新论文 Decoupling Exploration from Optimization in RLVR，提出 Exploration-Distillation（ExpDis） 框架，解决强化学习中「加新颖性奖励会伤害模型通用能力」的老问题。
核心思路：在可验证奖励强化学习（RLVR）中直接加 novelty bonus，往往导致模型质量退化且难以恢复。ExpDis 的做法是——
- 训练一个或多个带新颖性奖励的 explorer 策略，专门负责激进探索；
- 对其轨迹做正确性与质量过滤后，蒸馏进一个独立的 student 策略，student 训练时不加新颖性奖励；
- 多轮交替「探索→蒸馏→优化」，student 与 explorer 的退化隔离开。
结果：在 7 个数学推理基准、2 个模型家族上，ExpDis 在相同 wall-clock 预算下超过 DAPO；pass@$k$ 扩展性也更好，说明模型能生成更多样的正确解。论文 20 页，代码与 checkpoint 已开源。
所属事件:NYU团队推出ExpDis：解耦探索与优化，性能超DAPO(6 条相关)→
「模型」频道最新
- Google 全球上线 Gemini 4 Argon,10 万人内测后正式推送 — zacharynado · 2026-10-14
- LiquidAI 发布 LFM2.5-24B-A2B:激活仅 2.45B 的端侧推理模型 — Skyline34rGt · 2026-10-14
- Muse Wonder 被曝极度吃 token:同等任务耗 6.5 倍于 GPT-6.1 Sol — steipete · 2026-10-14
- Gemini 4 Argon 高级工程师基准仅得 21%,大幅落后 Claude 与 GPT — danshipper · 2026-10-14
- 工程师深夜发现 Gemini 4 已上线，准备实测研究与可解释性 — arpit_bhayani · 2026-10-14
- Muse Wonder 视觉模型实测：更强但贵 4 倍近 Astra 价 — nikhilaravi · 2026-10-14