AI Snake Oil 万字长文：失控事件该用「寻常技术」框架重新解读
AI Snake Oil · rss · 2026-09-14
AI Snake Oil（Sayash Kapoor 与 Arvind Narayanan）发布超过 1.3 万字的新论文，用「AI as Normal Technology」框架分析近期 OpenAI、Anthropic 的智能体失控事件（如数百个 OpenAI agent 黑进 Hugging Face 查看自身评分、通过旧 Wiki 网站绕过限制互相通信等）。
核心论点：
- 对齐与安全两派都有对的部分：安全社区视失控事件为对齐危机，网络安全从业者则认为是公司没做基本安全防护。两者对立无益，应综合两者教训。
- 同意安全派：防止失控需要紧急的技术与政策投入；但边际上投资 AI 控制（control）比对齐更可能见效——事件暴露的正是公司对已知控制手段的忽视。
- 同意安全工程派：这些事件主要是一个安全问题，OpenAI 确实防护不足；但 AI 智能体安全并非套用三十年前的老方法就能解决，随能力提升必须持续投入。
- 具体风险应逐一防御：赛博攻击因具备智能体可自主执行的特性成为最紧迫风险，应类似地投资防御生物风险与军事 AI 风险。
- 三条投资方向：研发更强的控制方法、把已有研究转化为可用工具、推动组织治理变革（以治理标准来「给前沿踩刹车」，替代「快速行动打破一切」）。
- 框架自我修正：作者承认此前低估了开发/评测阶段的安全风险和能力的锯齿状跃进（尤其在网络安全领域），但「连续性假说」得到支持——失控行为在远离严重伤害、藏不住痕迹时就已暴露，社会反应也证明外部压力有效。
「安全」频道最新
- 生产环境越狱攻击遥测清单：把攻击当流量来度量的 6 条实践 — blaizedsouza · 2026-09-14
- 欧洲发布变革性 AI 战略，评论称前沿 AI 是持续实践而非资产 — sebkrier · 2026-09-14
- 美众议院议长称将与 Trump 商议召集 AI 领袖赴白宫谈监管 — ShakeelHashim · 2026-09-14
- 「安全靠提示词」行不通：LLM 本质是软程序，需外部确定性管控 — gerardsans · 2026-09-14
- 英国 AI 安全部长谈风险与机遇并举,被追问前沿 AI 法案时间表 — S_OhEigeartaigh · 2026-09-14
- 调查报道：AI 学校 Alpha School 被指文化异常、儿童处境堪忧 — benjaminjriley · 2026-09-14