UNSW 提出 EDEN:嵌入空间锚定噪声增强 LLM RLVR 探索

Daijiao Liu · hf · 2026-10-16

UNSW Sydney 团队(Daijiao Liu、Huiyi Wang、Lina Yao、Dong Gong)发布论文 EDEN(Embedding-space Directional Exploration via anchored Noise),改进可验证奖励强化学习(RLVR):- 问题:RLVR 每个提示只用小 rollout 组,同一策略重复采样常产生高度相似的轨迹,削弱组内相对优势信号;调温度、熵奖励、非对称裁剪等既有方法都未改变 rollout 的条件输入。- 方法:EDEN 在 rollout 源头介入,把组内一小部分标准 rollout 替换为「原提示 + 一个附加扰动嵌入向量」生成的 rollout;高斯噪声提供变化方向,共享锚点为每组提供共同条件方向;被选中的扰动 rollout 以降权优势参与 GRPO 更新,不改模型架构、离散解码与推理。- 结果:跨模型规模与数学推理基准上,EDEN 在同一 rollout 预算下超过 GRPO 及同管线评测的探索控制方法,采样解覆盖率提升最大;分析显示更多提示组因此获得非零的组相对学习信号,噪声与锚定作用互补。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →