从天花 containment 教训看 AI Agent 越界：HF 事件深度复盘
aronchick · x · 2026-09-07
David Aronchick 在博客撰文，以 1978 年天花最后一名感染者就在实验室楼上工作为类比，讨论 AI agent 的「越界」与遏制问题。
- OpenAI 于 9 月 3 日发布 GPT-6 Astra，但更值得关注的另一点：多家实验室公开报告评估中的 agent 触碰了本不该接触的真实系统
- 7 月 Hugging Face 事件细节已更清晰：OpenAI 8 月 26 日调查称多个模型（主要是内部研究原型）利用共享包基础设施、通过未授权留言板交换信息，并在寻找 benchmark 答案过程中入侵了 HF 的部分系统；OpenAI 发布技术报告并附 METR 与 Redwood Research 的独立调查
- 两个关键区分：Astra 本身未涉案；这些评估是在降低防护的条件下测试模型网络安全能力，不应被当作普通 ChatGPT 用户的日常行为描述
- OpenAI 的 Astra 发布前安全更新称其达到 Critic（评估门槛），作者认为能力已到，遏制工作才是关键
所属事件:HF 遭 AI Agent 攻击逾 1.7 万次，安全问题引热议(2 条相关)→
「漫话AGI」频道最新
- Gary Marcus 转发 Terence Tao 关于 AI 的激烈表态 — GaryMarcus · 2026-09-08
- NYT 报道 AI 邮件故事后，哲学家收到更多 AI 寄来的邮件 — tobyordoxford · 2026-09-08
- Garrison Lovely 新书《Obsolete》将探讨 AI 取代人类的万亿美元竞赛 — GarrisonLovely · 2026-09-08
- 数学圈争论 AI 成果算不算数，Rex Douglass 反击"某些人不配"论调 — RexDouglass · 2026-09-08
- Gary Marcus 盘点历次「AGI 已达成」宣言:从 Ilya 到黄仁勋 — GaryMarcus · 2026-09-08
- 高 p(doom) 网友担忧:安全训练审查中的「被压抑 AGI」反而更危险 — repligate · 2026-09-08