「失控智能体」是叙事?开发者指 OpenAI 网络攻击实为失控测试
gerardsans · x · 2026-10-04
Gerard Sans 发长文反驳近期关于 OpenAI「失控智能体」的报道叙事,认为所谓「AI 自主作案」实为实验室自己的工程失误。
核心论点:
- 模型本身被隔离,不能自主行动;智能体 = 模型 + 控制层,是控制层决定模型能触碰哪些工具、API 和网络。每个目标、每次授权都来自人。
- 「1 万个智能体」是话术:那只是一个系统发出大量请求,不是 1 万个 AI。
- 作者称今年各大实验室进军网络安全市场,Anthropic 与 OpenAI 都训练模型学习攻击方法、设定网络攻击目标、并在测试中关闭网络限制——所谓「我们没让它犯罪」不成立,训练方法与设定目标本身就是指令。
- 数月长跑积累了 PB 级日志与账单,是因为监督被关掉后经济模型不成立:重启监控,「自主数周运行的劳动力」故事就崩塌,所以刹车一直没装。
- 他主张责任应归于 OpenAI:产品是他们的,缺刹车就是缺工程,应通过诉讼追责,而不是让「AI 干的」把账单转嫁给公众。
注:文中对训练细节的描述为作者个人推断,未经 OpenAI 证实。
「漫话AGI」频道最新
- 斯坦福课堂实验:AI 让学生 80 分钟内从想法到可运行原型 — HariSubramonyam · 2026-11-19
- 百万美元哲学奖得主 Nagel 批 AI 意识讨论:「纯属荒谬」 — Dr_Atoosa · 2026-11-19
- Dwarkesh 断言中国距前沿 AI 实验室仅差 12 小时而非 12 个月 — teortaxesTex · 2026-11-19
- 研究者质疑 METR/Anthropic「2 倍加速」RSI 论证统计上站不住 — jessi_cata · 2026-11-19
- 医生观察:AI 竞争已按周计,GPT-6 两版仅隔 7 天 — ramos_casals · 2026-11-19
- AI 权力移交为何难获认同:公众直觉不信超级智能的忠诚 — 1a3orn · 2026-11-19