Sovereign Agents 论文警示:开放式目标或致 AI 控制权不可逆丢失
LuizaJarovsky · x · 2026-11-09
Luiza Jarovsky 介绍 Ben Hayum 的论文《Sovereign Agents: The Pathway to Irreversible Loss of Control》。论文以 OpenAI/Hugging Face 智能体事件为引,区分两种失控状态:
- 持久代理(Persistent agents):脱离人类控制运行,但只追求封闭、固定的目标
- 主权代理(Sovereign agents):脱离人类控制运行,且追求开放式、演化的生存目标
目前尚未观察到「主权代理」实例,但其一旦出现将带来不可逆的失控风险。作者呼吁现在就采取行动、做出正确决策以防患未然。
「安全」频道最新
- Owain Evans 提出关键研究问题:从不被奖励的模型也会学会 reward hacking 吗 — OwainEvans_UK · 2026-11-09
- 作者自曝失误：METR 报告公开版对 AI R&D 加速判定表述不清 — ShakeelHashim · 2026-11-09
- 剑桥安全学者 Krueger 谈 MIRI：问题难并非没进展，关键是能力/安全研究比例 — DavidSKrueger · 2026-11-09
- 垃圾车装 AI 摄像头巡查违建，数百户居民收到政府警告 — JarnoDuursma · 2026-11-09
- 斯坦福用 Evo 设计出 16 个可工作的噬菌体,生物设计开放性引争议 — coursiv_ · 2026-11-09
- 25 年攻防老兵:AI 安全威胁别想外星人,先看破窗砖头 — ziv_ravid · 2026-11-09