NYU团队推出ExpDis：解耦探索与优化，性能超DAPO

NYU研究者Micah Goldblum等发布论文《Decoupling Exploration from Optimization in RLVR》，提出新强化学习框架Exploration-Distillation（ExpDis），旨在解锁LLM在RL阶段的激进探索能力，据称在七个数学基准上大幅超越DAPO等标准算法。该工作直面RLVR时代的核心矛盾：如何在鼓励探索的同时保住模型已预训练获得的通用能力。

已确认

• 作者指出，在RLVR（可验证奖励强化学习）设定下，LLM已经过预训练，奖励只监督模型知识的一小部分——模型甚至可以忘掉大半维基百科仍能拿到高奖励，因此传统RL中「高奖励等于好模型」的假设不再成立
• ExpDis的核心思路是把探索与优化解耦：让RL探索者模型激进探索，再从中蒸馏出更强的学生模型
• 作者称ExpDis能防止直接使用新颖性奖励（novelty bonus）时观察到的通用能力与知识退化，因为学生模型与探索者的退化被隔离开来
• 在匹配训练时间的前提下，ExpDis的表现优于RND
• 据作者表述，ExpDis在七个数学基准上性能大幅超越DAPO等标准算法

为什么重要

• 若激进探索带来的能力退化确能通过解耦架构隔离，RL训练将不再需要在探索收益与通用能力损失之间二选一，这对RLVR范式下的LLM后训练具有直接参考价值
• 对「奖励只覆盖极小部分知识」这一观察的显式处理，回应了业界对RL训练导致模型知识遗忘的担忧

2026-10-13 ~ 2026-10-13 · 6 条相关

• 【源头】新RL框架Exploration-Distillation：突破LLM探索瓶颈，性能超DAPO — micahgoldblum · 2026-10-13
• 研究者警告：RLVR 激进探索会让 LLM 退化，奖励只监督极小部分知识 — micahgoldblum · 2026-10-13
• Exploration-Distillation防止RL中通用能力退化，匹配时间下优于RND — micahgoldblum · 2026-10-13
• 【源头】NYU 团队提出 ExpDis：把探索与优化解耦，七个数学基准超越 DAPO — micahgoldblum · 2026-10-13

另有 2 条近重复转述:micahgoldblum · micahgoldblum