arXiv 新论文提出 k-鲁棒联盟对齐:弱化条件下的 agent 安全授权

Aaroth · x · 2026-09-15

Aaron Roth 等人发布论文《Delegating Authorization to Misaligned Agents: Coalitional Alignment and Safe Control》。
问题设定：长时运行 agent 的每个动作都会改变状态、影响未来轨迹；若 agent 未完全对齐，安全就需要对关键动作人工审批，但逐步审批会让人的注意力成为瓶颈。把审批委托给其他 AI 又引入同样的对齐问题——审核者本身可能不对齐。
核心结果：作者刻画了一个比个体对齐更弱、但充要的条件——k-鲁棒联盟对齐（k-robust coalitional alignment）。审核面板采用容忍 k 个否决的阈值规则时，安全性等价于：移除任意 k 个审核者后，委托人效用可写成剩余审核者效用的非负组合加一个非负项。
该刻画可推广到序贯控制：在带任意 proposer 的折扣 MDP 中，每个状态安全是充要条件。
初步实证发现真实 reward model 之间存在非平凡的安全/完备性权衡，且效应来自联盟而非个体对齐。

「安全」频道最新