Alignment Journal 匿名评审新论文:把授权委托给失准智能体
gleech · x · 2026-10-31
Alignment Journal 公开一篇在审论文《Delegating Authorization to Misaligned Agents: Coalitional Alignment and Safe Control》,作者匿名,同时开放社区自荐审稿(审稿有报酬)。论文核心问题:长期运行的 AI 智能体若不完全对齐,逐步人工审批会造成注意力瓶颈,而委托其他 AI 审查又面临审查者自身失准的问题。作者提出「k-robust coalitional alignment」条件,给出在期望意义上主委托方不劣于基线策略的充要条件;并推广到折扣 MDP 的顺序控制场景,证明在全体一致批准规则下,奖励函数空间的全覆盖可保证所有纳什均衡都安全,而更宽松的阈值即使在审查者各自对齐时也可能出现不安全均衡。实验显示,即使容忍部分否决、且无单一对齐审查者,集体审查仍可保持安全。
「安全」频道最新
- Tyler Alterman 谈黑客风暴恐慌:更接近 Y2K 而非疫情级灾难 — jd_pressman · 2026-10-31
- Anthropic 官方 VS Code 扩展遭供应链投毒,约 5000 开发者受影响 — Ars Technica AI · 2026-10-31
- 安全研究者:vibe coding 兴起后软件将因安全而重新集中化 — jd_pressman · 2026-10-31
- Railway 泄露密钥后,Every 团队用 Codex 与 Agent 化解危机 — every · 2026-10-31
- 学者激辩:更多推理算力可在一定程度上替代训练算力 — teortaxesTex · 2026-10-31
- OpenAI 收紧青少年保护:屏蔽武器与安防细节,可自动终止暴力话题对话 — rohanpaul_ai · 2026-10-31