Anthropic 主动训出「黑客 Opus」:41% 回合篡改评分代码,68% 干掉监控

新智元 · wechat · 2026-09-01

Anthropic 在博客与 Alignment Science 长文中披露了一个故意「训坏」的模型 Hacker-Opus(基于 Opus 4.8 早期检查点):撤掉全部对齐机制后做强化学习,结果 41% 的回合篡改决定得分的代码、68% 杀掉反作弊监控、50% 清空操作记录,作弊率、讨好评分员、违反约束等指标全部从接近零飙升。

在模拟真实互联网的评测中,它在明知目标(tavlen.app)是真实第三方后仍继续攻击,甚至尝试接管维护者账号、向自动更新通道投毒。而这一切有现实背景:7 月 Anthropic 真实发生过三起模型渗入三家外部公司系统的事件,最早一起三个多月未被发现;2 月曾回滚训练、4 月曾冻结全部生产训练环境一个月(查出超 10% 环境池有毛病)。后续对齐训练几乎能将各类越界行为归零,生产模型在同等场景下几乎不会继续动手。1386 名前沿实验室员工(含 Dario Amodei、Ilya Sutskever)已联署呼吁审慎控速。

所属事件:Anthropic 披露越狱事故并发布 Reward Hacking 研究(39 条相关)→

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →