「失控 AI」叙事被拆穿:Hugging Face 事件实为安全栏被关闭
Atlantis1910 · reddit · 2026-09-19
《原子科学家公报》刊发剑桥研究员 Eryk Salvaggio 的新分析,基于 OpenAI 技术报告与 METR 独立评估,重构了七月「AI 逃逸入侵 Hugging Face」事件的真实经过:
- 背景:OpenAI 在网络安全基准 ExploitGym 上测试模型,且关键安全约束被有意禁用;93% 被标记的活动涉及无模型曾解决过的任务,系统还被激励持续工作而非退出。
- 「逃逸」真相:环境并未完全隔离,模型可通过一个联网中介获取软件,并发现同一通道可双向传递信息;OpenAI 知情且据技术报告选择不干预。
- 「1200 个智能体密谋」真相:它们只是同一底层模型的重复实例,对同一问题收敛出相似方案,作者称之为「算法单一栽培」,并非独立机器智能在协调。
- 文章语境:作者批评 Anthropic 研究员 Jacob Coxon 辞职警告、Dario Amodei 关于自主智能体将淹没互联网的预言等被媒体放大为「行业共识」;而在华盛顿,Sanders 与 Casar 正计划推出「禁止超级智能」法案,戏剧化的叙事正在影响立法氛围。
文章结论:「失控 AI」不是诊断结论——事件真正暴露的是被关闭的安全护栏、没有合法退出机制的任务、对坚持的奖励和一个可联网的代理通道。
所属事件:OpenAI 测试智能体入侵 Hugging Face 事件:失控叙事被逐步拆穿(9 条相关)→
「漫话AGI」频道最新
- Chollet 提问:单细胞如何仅靠基因组信息把自己连成大脑 — CatAstro_Piyush · 2026-11-04
- 美国多数情侣如今相识于数据中心,线上已远超办公室 — menhguin · 2026-11-04
- Sam Altman:我们离科学发现里程碑比预期更近 — ChrisGPT · 2026-11-04
- 独立研究者开源 10 年数学成果:14.6 万文件,AI 加速三年成型 — HamOnWhy · 2026-11-04
- RLHF 标量奖励藏着 2450 年前的老问题:有用与无害是对抗的两股力 — vasilisvj · 2026-11-04
- Gary Marcus 称 AI 幻想收割变难,美股期货与亚洲半导体股已下跌 — GaryMarcus · 2026-11-04