研究发现「用 AI 审 AI」很难发现 reward hacking,作者推理解审计方案

ronbodkin · x · 2026-10-26

一项研究指出:让 AI 去 review 另一个 AI 的输出,在检测 reward hacking(reward 作弊)方面效果很差——审查者模型难以察觉被审查模型钻空子的行为。

转发者 Ron Bodkin 据此强调:人在回路中保持对 AI agent 输出的觉察仍然重要,并介绍了他们提出的 comprehension audit(理解审计)方法,用于测试这类失效。对部署 agent 的团队是切实的安全提醒:别把安全审查全托付给另一个模型。