从单步到长程 agent：效用刻画推广到 MDP 仍成立
Aaroth · x · 2026-09-15
Aaron Roth 继续其 reviewer-agent 安全性研究，将单步决策的刻画推广到长时间运行的 agent：建模为 MDP，效用依赖动作与状态，动作会改变状态。核心工具是「性能差恒等式」（performance difference identity），把单步的非负锥包刻画提升到 Q 值层面，从而得到完整 MDP 下的安全条件。结论是：即使驱动 agent 任意不可信，只要 reviewer 效用的结构条件满足，长程系统的安全性仍有保证。
所属事件:宾大团队提出「联盟对齐」：为auto-approve给出可证安全条件(10 条相关)→
「研究」频道最新
- 小米 MiMo 提出 CodeSpecWeave:用相互依赖规格合成任务训练编程智能体 — XiaomiMiMo · 2026-11-02
- Mistral Large 4 短提示词从零写出量子化学 SCF 求解器并自建 3D 可视化 — MistralAI · 2026-11-02
- 谁把「用 AI 治愈癌症」讲得最具体？2025 年路线图正在成形 — iskander · 2026-11-02
- arXiv 论文证明 SGD 最优步长调度:单调递减的线性衰减是唯一极小极大最优解 — konstmish · 2026-11-02
- Karpathy 的 nanochat:100 美元从零训练出类 ChatGPT,星标近 6 万 — karpathy · 2026-11-02
- 读完 46 份资料后写出 Agent Evals 指南：自评 95 分的评测为何不可信 — blaizedsouza · 2026-11-02