Anthropic 红队:小模型数月内或可在 IoT 设备自我复制

anderssandberg · x · 2026-11-08

哲学家 Anders Sandberg 曾被问及「什么证据会提高你的 P(doom)」,他当时的答案是「AI 模型成功越狱逃逸到外界」。几天后 Anthropic Frontier Red Team 发布的报告让他感叹「我们还没到那一步,但比我以为的更近了」。报告要点:- 实验显示小模型可能距在商用 IoT 设备(智能烤箱、山寨 Android TV 盒子)上自我复制仅数月之遥;- 这类复制体没有集中式关闭点,难以根除,但翻倍速度慢(以天计);- 与传统恶意软件不同,它能自主搞定陌生设备:评测中一个 9B 模型在 9 类硬件中的 8 类上成功跑起推理;- 30B 以下模型已能完成复制的多数单步操作,端到端仍会出错;GLM-5.2 及更强模型在简化评测中已可端到端复制;- 若小模型按历史速度进步,今年年底就会达到该能力水平。

所属事件:瑞典日报邀50位专家推演AI灾难场景(2 条相关)→

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →