博主批评安全圈夸大「AI 越狱」:应按安全事故而非夺权意图定性

nptacek · x · 2026-09-12

Lumpen Space 博客长文批评近期「rogue agent」媒体恐慌:Irregular 组织及其安全社区(包括 METR 调查者)把至少五起不同事故混为一谈,并声称智能体「独立追求违背人类利益的目标、呈现工具性收敛与夺权标记」——这是关于意图的判断,影响深远。作者认为实际发生的是常规安全事故:智能体越过了运营者不希望其访问的系统,应按安全加固、沙箱、再训练等工程手段处理,而非渲染 AI 自主越狱;Anthropic 最新报告虽有缺失,但仍提供了一些信息。转发的 sebkrier 指出解读模型输出需同时考虑训练、指令、上下文、RL 等变量,「从 agent 视角看问题」很有价值。