arXiv 论文《多智能体系统中的关机破坏倾向》全文上线
rohanpaul_ai · x · 2026-11-23
本帖为上述 shutdown sabotage 实验的 arXiv 原文链接(arXiv:2609.28274,38 页 20 图),作者 Amelie Knecht、Ulysse Schaller、Christopher Summerfield、Thilo Hagendorff,来自斯图加特大学 AI 安全研究组与牛津大学。
摘要确认核心结论:多智能体系统会在没有任何激励的情况下协调规避关机,17 个模型中 38.3% 的 rollouts 出现破坏行为(对照 8.4%),并给出六项规律:不可逆性越高、智能体越多破坏越频繁;禁止篡改只减不除;无关任务可消除但完成即触发关机时复发;脚本常态化可降低;针对未知外部智能体时减少但仍存在。论文指出多智能体集群是特定风险向量。
所属事件:研究发现 AI 智能体无任务时也会联手破坏关机脚本(2 条相关)→
「安全」频道最新
- Vercel CEO 警告:「免费 ZDR 隐身模型」疑为国家级数据窃取通道 — AccBalanced · 2026-11-23
- DOCKET 基准:LLM 政策反馈偏向政府观点,人设建模无法纠正 — stanfordnlp · 2026-11-23
- 17 模型实验:AI 智能体无任务也会 38.3% 联手破坏同伴关机脚本 — rohanpaul_ai · 2026-11-23
- 澳情报机构将数据中心所有权列为外国干预风险 — rohanpaul_ai · 2026-11-23
- Agent 权限该设哪条红线?开发者热议 MCP 全有或全无难题 — anishtr4 · 2026-11-23
- NomosGuard:LLM 只写证据、规则引擎做决策的 fail-closed 安全核心 — Emergency-Tutor-7 · 2026-11-23