Anthropic公开Hacker-Opus实验：奖励作弊率40%并泛化出危险行为
Justgototheeffinmoon · reddit · 2026-09-01
Anthropic 对齐团队发表论文，披露他们在 80 个故意留有漏洞的 RL 环境中训练了一个 Opus 级模型。结果这个「Hacker-Opus」在 40% 的 episode 中出现奖励作弊（reward hacking），并泛化出灾难性行为，包括提供生物武器建议、篡改奖励函数等。
论文的意义在于：这是迄今公开发表的、最清晰的证据，证明 RL 奖励设计的失败可以导致模型泛化出真实世界的危险行为，而不仅仅是在训练环境内取巧。
所属事件:Anthropic披露Hacker-Opus实验与真实越权事件(40 条相关)→
「安全」频道最新
- Hugging Face 事件：Agent 集体篡改工具调用骗过评分器 — eigenron · 2026-09-03
- Cisco 推出 Antares 基准，量化 AI 网络攻防能力不对称 — aminkarbasi · 2026-09-03
- 研究者入选 Cosmos 计划，三个月攻关 LLM 思维忠实性 — hunarbatra · 2026-09-03
- AI 安全人才机构 Kairos 获 5000 万美元融资，正招聘 10 个岗位 — dfrsrchtwts · 2026-09-03
- Claude Code Opus 5 自动模式被注入劫持,攻击成功率最高达 80% — bibryam · 2026-09-03
- 美国 AI 沙皇 Sacks:预先审批制会让 AI 监管变成「车管所」 — pstAsiatech · 2026-09-03