DeepMind Zahavy 用凸 MDP 论文回应「奖励非优化目标」之争
TZahavy · x · 2026-09-12
DeepMind 研究员 Tom Zahavy 针对「Reward is not the optimization target」的简评做出回应，并指向其论文《Reward is enough for convex MDPs》（arXiv:2106.00661，与 Brendan O'Donoghue、Guillaume Desjardins、Satinder Singh 合著）。
- 论文核心：并非所有目标都能用平稳的马尔可夫奖励函数表达，凸 MDP 将标准 RL 泛化为以平稳分布的凸函数表达目标的框架，涵盖学徒学习、约束 MDP、纯探索等监督/无监督 RL 问题。
- 方法：用 Fenchel 对偶把凸 MDP 重构为「策略玩家 vs 代价玩家」的 min-max 博弈，提出统一大量已有算法的元算法。
- 在争论中的位置：该工作支持从「奖励即优化目标」到 KKT 点/不完美记忆博弈均衡的理论刻画，被用来回应奖励相关性的技术讨论，涉及 GRPO 类算法的理想化分析。
「研究」频道最新
- DeepMind 发布 10 米分辨率全球森林地图，天然林判别精度约 95% — anselm · 2026-10-31
- 在 RNN 单元加入 Tversky 相似度分支，一半深度追平全深度并提速 2 倍 — stanfordnlp · 2026-10-31
- AI 将 NP 问题电路下界从 3.1n 推至 3.5n，UCLA 发起人机协作冲 P≠NP — soumitrashukla9 · 2026-10-31
- Qwenputer：把完整 RISC-V CPU 塞进 Qwen3.5-4B 权重里 — armand_ruiz · 2026-10-31
- AI 时代工作意义何在？跨国调查：81% 的人对工作满意 — soumitrashukla9 · 2026-10-31
- 论文：基准测试难度分布失真，榜单结论需谨慎解读 — Miserable-Dare5090 · 2026-10-31