MIT CSAIL 提出 PoEM:不用训练即可预测策略 RL 在新奖励上的结果
kastnerkyle · x · 2026-11-21
MIT CSAIL 的 Kimia Hamidieh、Giannis Daras 与 Antonio Torralba 发布新论文 PoEM(Predicting RL Outcomes from Existing Policies),回答一个问题:能否在不实际训练的情况下,预测策略 RL 在一个新奖励上会学到什么?
方法核心:
- 发现从同一参考策略出发、分别用不同奖励做 RL 训练的多个策略,其参数更新近正交,但对数策略比(log-policy ratios)张成一个低维空间
- 在共享校准样本上评估各基策略的对数比,在每个 prompt 内做中心化,再用最小二乘拟合权重,逼近目标奖励的得分
- 推理时用这些权重组合基策略得到 PoEM 策略,完全无需新的 RL 训练;即使目标奖励不是基奖励的组合也能近似
意义:为 RL 后训练提供「先预测再训练」的廉价评估手段,可显著节省探索成本。
所属事件:MIT CSAIL 推出 PoEM:免训练预测 RL 新奖励策略(2 条相关)→
「研究」频道最新
- Isomorphic Labs 与默沙东达成战略合作,用 AI 设计新型癌症药 — demishassabis · 2026-11-21
- Owain Evans 发现「顺势疗法学习」:干净数据可解锁潜意识后门 — OwainEvans_UK · 2026-11-21
- Thinking Machines 发布 26B 循环transformer Inkling 2 Mini,笔记本可跑 — thinkymachines · 2026-11-21
- Thinking Machines:循环次数越多无 CoT 能力越强,可监控性未下降 — thinkymachines · 2026-11-21
- 黎曼假设证明形式验证开启直播,编译预计约 3 小时 — altryne · 2026-11-21
- 同一天:有人联合 Claude 声称证明黎曼猜想,又有团队发布纯人力证明 — Dr_Atoosa · 2026-11-21