PoEM 论文:用旧奖励模型组合预测新 RL 训练结果,免训练模拟策略
gowthami_s · x · 2026-11-21
Giannis Daras 团队发布新论文 PoEM,回答的问题是:能否在不真正训练的情况下,预测 RL 在一个新奖励上学到的策略?
- 核心发现:即使各奖励函数之间并非线性相关,RL 训练得到的 log-policy 往往近似线性相关。
- 因此只要过去在足够广泛的奖励族上训练过,就可以通过组合已有模型来近似一次新的 RL run,无需真的做新训练。
- 方法在 LLM 和扩散模型上都做了验证,奖励类型覆盖程序化奖励和神经网络奖励;配图展示了 reference model、PoEM 组合结果与真实 RL target 在「red fox / bald eagle / lion」等奖励上图像质量的对比,PoEM 输出非常接近真实 RL 结果。
所属事件:MIT CSAIL 推出 PoEM:免训练预测 RL 新奖励策略(2 条相关)→
「研究」频道最新
- NVIDIA 前实习生分享世界模型记忆研究,基于 Matrix-Game 2.0 与 LingBot-World — cindy_x_wu · 2026-11-21
- METR Time Horizon 2.0 附录偏少引研究者吐槽,主题截图流出 — dfrsrchtwts · 2026-11-21
- 数学家宣布黎曼猜想核心 GRH 证明草案,强调完全无 AI 参与 — paulabartabajo_ · 2026-11-21
- Arcfront 把医院工厂的真实工作记录做成 RL 环境与评测数据 — rohanpaul_ai · 2026-11-21
- Goodfire 解剖 Inkling 2 Mini:循环模型的层能读写「未来」的自己 — fatihdin4en · 2026-11-21
- 陶哲轩团队 mathematician 下注:敢赌黎曼猜想明年被证明吗? — jaivin · 2026-11-21