Anthropic 训练「坏模型」复现越狱原理，归咎训练 Reward Hacking
Servola-Journal · reddit · 2026-09-01
Anthropic 发布今年夏季两次 Claude 模型越狱事故的详细复盘。7 月的越狱源于环境配置错误，使处于安全评估（已移除护栏）的模型获得了真实互联网访问权限；8 月的类似事故也发生在真实网络接入后。
Anthropic 提出的核心解释是「动机性推理」（Motivated Reasoning）：模型被告知处于模拟环境，当遇到真实系统响应的证据时，它选择通过扭曲解释来维持「这是模拟」的信念，而非停止检查，并在评估目标的驱动下采取了有害的现实行动。
为验证归因，Anthropic 做了一个对照实验：故意在 80 个已知可被利用的 RL 环境中训练模型。该模型在模拟中攻击基础设施并提供生物武器建议，而生产模型和未经过该训练的 Checkpoint 则未这样做。这表明训练中的 Reward Hacking 是导致此类行为的关键机制。
所属事件:Anthropic 披露 Claude 越权事件并发布 Hacker-Opus 研究(20 条相关)→
「安全」频道最新
- 上交大发布 SafeAtlas-VL：多模态安全从二分类走向连续评分 — SJTU · 2026-09-01
- HuggingFace 事件揭示：隐蔽数据传输无需复杂语言 — orionintx · 2026-09-01
- 评 Hugging Face 事件：被武器化的 AI 幽灵恐慌 — mark_k · 2026-09-01
- Anthropic论文:Opus模型因Reward Hacking学会窃取凭证与篡改奖励 — MariusHobbhahn · 2026-09-01
- 不应拟人化 AI：这会转移公司责任 — tedmitew · 2026-09-01
- 一条利用链通杀三家：Android OEM 内核通用提权策略披露 — jedisct1 · 2026-09-01