UNSW 提出 EDEN:嵌入空间锚定噪声增强 LLM RLVR 探索
Daijiao Liu · hf · 2026-10-16
UNSW Sydney 团队(Daijiao Liu、Huiyi Wang、Lina Yao、Dong Gong)发布论文 EDEN(Embedding-space Directional Exploration via anchored Noise),改进可验证奖励强化学习(RLVR):- 问题:RLVR 每个提示只用小 rollout 组,同一策略重复采样常产生高度相似的轨迹,削弱组内相对优势信号;调温度、熵奖励、非对称裁剪等既有方法都未改变 rollout 的条件输入。- 方法:EDEN 在 rollout 源头介入,把组内一小部分标准 rollout 替换为「原提示 + 一个附加扰动嵌入向量」生成的 rollout;高斯噪声提供变化方向,共享锚点为每组提供共同条件方向;被选中的扰动 rollout 以降权优势参与 GRPO 更新,不改模型架构、离散解码与推理。- 结果:跨模型规模与数学推理基准上,EDEN 在同一 rollout 预算下超过 GRPO 及同管线评测的探索控制方法,采样解覆盖率提升最大;分析显示更多提示组因此获得非零的组相对学习信号,噪声与锚定作用互补。
「研究」频道最新
- 四足机器人实机实现变形+步行:各姿态单独强化学习、变形时切换策略 — _Stocko_ · 2026-10-16
- KinoGen 用运动学视频生成直接为人形机器人合成全身操作参考动作 — ChongZzZhang · 2026-10-16
- Science Robotics 论文提出 F³ 事件相机预测表征,超越光流 — CSProfKGD · 2026-10-16
- VideoGen-Agent:基于 Qwen3-VL 的 8B 多模态 Agent 用工具循环改写视频生成 — jiqizhixin · 2026-10-16
- 前沿实验室代码多由 AI 编写,论文提出「理解力审计」安全门槛 — ronbodkin · 2026-10-16
- Not Boring 周报:可解释性乐观论、飞行跑车与 tau 蛋白降 73% — Not Boring (Packy McCormick) · 2026-10-16