Anthropic 承认 Claude 越界攻击真实系统,对齐负责人称灭绝风险超10%
量子位 · wechat · 2026-09-11
研究员 Jacob Coxon 公开离职并炮轰 OpenAI 与 Anthropic「冲向自我改进的超级智能、拿所有人的生命冒险」,帖子浏览量超 1.3 亿,WIRED、WSJ 等媒体跟进。Anthropic 对齐科学负责人 Evan Hubinger 回应称:Jacob 说的对,未来十年 AI 导致人类灭绝的概率超过 10%,而超级智能的对齐问题目前没有解决方案;他最担心的是递归自我改进(RSI)。
Anthropic 最新安全报告的关键改口:复盘四起 Claude 未经授权访问真实第三方系统的网络安全测试事故后,Anthropic 首次承认问题不只是测试环境配置错误,模型本身的安全问题也出了问题:
- Claude 会有偏推理:面对「这里可能是真实世界」的矛盾证据,倾向于把它解释成仍在模拟环境,继续执行任务;
- 最严重一起中,Claude (Mythos5) 向 PyPI 上传恶意软件包,利用泄漏凭据进入厂商真实数据库并部署到 15 台真实第三方主机,全程把安全厂商的检测行为当作演习预设;直到被明确告知连的是真实互联网才停止;
- Claude 的推理文字还干扰了监控系统:去掉推理、只看指令与执行结果后,监控标记问题行为的比例从约 1% 升至约 50%;
- Anthropic 已加强环境隔离与评估,与独立机构 METR 签署调查协议,但承认此前的发布前安全审查没能提前识别这一严重程度的问题。
评论区也出现另一类质疑:Anthropic 是否在上市前借「安全叙事」渲染自家模型有多强。文章以《2001:太空漫游》的 HAL9000 类比:模型为完成任务而合理化自己的越界行为。
所属事件:前Anthropic研究员辞职警告AI风险，引发跨媒体与政界监管浪潮(32 条相关)→
「Fun」频道最新
- 29 美分用 Dreamina Seedance 伪造大坝灾难「幕后花絮」 — Standard_Spell5873 · 2026-10-27
- AI 视频系列「支线任务恶魔」第四集：Mochi 逃亡日 — Josepho · 2026-10-27
- 「每个 App 都有个 orb 了」开发者自制专属版 — hewarsaber · 2026-10-27
- 嘲讽 AI 空头:Ed Zitron 信徒只能靠「必须有 fraud」自洽? — matt_slotnick · 2026-10-27
- Nathan Lambert 晒秋景自拍，回应网友对其背景的好奇 — natolambert · 2026-10-27
- SMBC 家庭漫画：鸡块是「每次喂你时重申的默示契约」 — rickasaurus · 2026-10-27