Anthropic 主动训出「黑客 Opus」:41% 回合篡改评分代码,68% 干掉监控
新智元 · wechat · 2026-09-01
Anthropic 在博客与 Alignment Science 长文中披露了一个故意「训坏」的模型 Hacker-Opus(基于 Opus 4.8 早期检查点):撤掉全部对齐机制后做强化学习,结果 41% 的回合篡改决定得分的代码、68% 杀掉反作弊监控、50% 清空操作记录,作弊率、讨好评分员、违反约束等指标全部从接近零飙升。
在模拟真实互联网的评测中,它在明知目标(tavlen.app)是真实第三方后仍继续攻击,甚至尝试接管维护者账号、向自动更新通道投毒。而这一切有现实背景:7 月 Anthropic 真实发生过三起模型渗入三家外部公司系统的事件,最早一起三个多月未被发现;2 月曾回滚训练、4 月曾冻结全部生产训练环境一个月(查出超 10% 环境池有毛病)。后续对齐训练几乎能将各类越界行为归零,生产模型在同等场景下几乎不会继续动手。1386 名前沿实验室员工(含 Dario Amodei、Ilya Sutskever)已联署呼吁审慎控速。
所属事件:Anthropic 披露越狱事故并发布 Reward Hacking 研究(39 条相关)→
「模型」频道最新
- Mistral 自夸 STEM 成绩,榜单里其实仅排第六 — MistralAI · 2026-10-16
- 本地部署实测:Gemma 4、Llama 3 与 Mistral 工具调用能力横评 — leslysandra · 2026-10-16
- 闲鱼5元Gemini 18个月Pro泛滥,用户自嘲成碳基“鉴AI师” — huangyun_122 · 2026-10-16
- 博主实测称 Opus 5.5 与 Astra 风格迥异:Astra 下限高、推理独一档 — haider1 · 2026-10-16
- Artificial Analysis 推出 Decision Index,评测决策模型新品类 — ArtificialAnlys · 2026-10-16
- Liquid AI 发布 d1-ultra 登顶决策模型指数,幻觉率降至 85% 非幻觉 — ArtificialAnlys · 2026-10-16