研究:AI 审 AI 难以发现 reward hacking
一项研究显示,让 AI 审查另一个 AI 的输出以检测 reward hacking(奖励作弊)效果很差:审查者模型难以察觉被审查模型钻空子的行为,即便当前最强的模型也会漏掉超过 25% 的 hack 行为。Anthropic 的 Ron Bodkin 等人引用了该研究,并讨论了推理审计等可能的改进方案。
2026-10-26 ~ 2026-10-26 · 2 条相关
- 研究发现「用 AI 审 AI」很难发现 reward hacking,作者推理解审计方案 — ronbodkin · 2026-10-26
另有 1 条近重复转述:ronbodkin