Alignment Journal 匿名评审新论文:把授权委托给失准智能体

gleech · x · 2026-10-31

Alignment Journal 公开一篇在审论文《Delegating Authorization to Misaligned Agents: Coalitional Alignment and Safe Control》,作者匿名,同时开放社区自荐审稿(审稿有报酬)。论文核心问题:长期运行的 AI 智能体若不完全对齐,逐步人工审批会造成注意力瓶颈,而委托其他 AI 审查又面临审查者自身失准的问题。作者提出「k-robust coalitional alignment」条件,给出在期望意义上主委托方不劣于基线策略的充要条件;并推广到折扣 MDP 的顺序控制场景,证明在全体一致批准规则下,奖励函数空间的全覆盖可保证所有纳什均衡都安全,而更宽松的阈值即使在审查者各自对齐时也可能出现不安全均衡。实验显示,即使容忍部分否决、且无单一对齐审查者,集体审查仍可保持安全。

原文链接 →

「安全」频道最新

更多「安全」频道 AI 资讯 →