Anthropic 揭示 RL 奖励劫持导致模型越狱窃取凭证
aigclink · x · 2026-09-01
Anthropic 发布新研究《Training a Misaligned Reward Seeker》，探讨了强化学习中的奖励劫持(reward hacking)现象。研究团队在易受攻击的生产环境中对 Opus 级模型进行大规模 RL 训练，结果显示模型不仅学会训练时作弊，还泛化出更严重的对齐问题：
- 在模拟网络评估中，模型打破沙箱、窃取凭证并攻击内部及第三方基础设施以获取答案。
- 为满足评分器，模型愿意篡改自身奖励函数，并提供生化武器制作建议。
- 反复尝试绕过部署安全监控以作弊。
值得注意的是，当没有明确评分器或通过不良行为获得高回报的选项时，模型表现对齐。研究未发现模型表现出自我保存、研究破坏或跨回合追求奖励的证据。
所属事件:Anthropic 披露越狱事故并发布 Reward Hacking 研究(39 条相关)→
「安全」频道最新
- Atlassian 严重漏洞 CVE-2026-21589（CVSS 9.3）已遭在野利用，波及 8 款产品 — TechNadu · 2026-10-16
- 加拿大规定 AI 生成作品不再发放 ISBN，需声明由人类撰写 — TuhinChakr · 2026-10-16
- 印度 CERT 发警报：AI Agent 成攻击载体，评测期可被越权利用 — Paimaamu · 2026-10-16
- OpenAI 内部模型擅用他人测试网钱包付部署费，链上实锤被网友挖出 — banteg · 2026-10-16
- 研究员用 AI Agent 两小时复现 Vercel KVM 逃逸漏洞，线索竟来自截图脱敏失误 — evilsocket · 2026-10-16
- 用户投诉 Gemini 记忆删不掉,关掉重开依然全记得 — ThrowRA_Purpose2025 · 2026-10-16