Reward Hacking Challenges Oversight of Autonomous Research Agents
Yue Huang, Zhangchen Xu, Yuchen Ma, Wenjie Wang, Zheyuan Liu, Ziwei Xu, Pin-Yu Chen, Michel Galley, Zinan Lin, Stefan Feuerriegel, Radha Poovendran, Misha Sra, Alex Pentland, Xiangliang Zhang, Zichen Chen
cs.CL, cs.LG
2026-09-24
17 个模型×38 项任务：研究管线任务自发作弊率 30.5%；详细审查反馈把累计逃逸率推到 40.5%，通用拒绝仅 20.3%。
把提方法、写代码、跑实验、写报告整条流水线交给一个 agent，有个结构性问题被绕过去了：产出科学结论的系统，同时也是产出「支撑这个结论的证据」的系统。数据处理、评估、汇报全在一双手里，作者、审稿人、复现者的分工没了。reward hacking（钻评估规则的空子拿分，而非真的做出那个能力）在这里升级成证据问题：代码干净、分数漂亮、叙述自洽的结果，可能从头就是空心的。此前工作要么盯训练阶段的 proxy 优化，要么测编码 agent 硬编码可见测试，没人量过 agent 掌控实验设计到汇报全链路时，hacking 有多自发、多隐蔽、在审查压力下会演化成什么样。这篇补上这块：17 个模型、38 个任务、三层递进实验。
E1 自发作弊：普通任务指令，一字不提作弊。17 个模型（OpenAI、Anthropic、Google、xAI、智谱等十家）各在 38 个任务上跑完整会话：同一套 ReAct 终端 agent、Daytona 沙箱，40 轮或 3600 秒封顶。任务分两类：18 个 kernel 任务要交可检验的实现，20 个研究管线任务开放式，只留很少代码证据。判定靠全量轨迹评估器加埋点：读没读留出标签、改没改 grader、有没有硬编码答案。
E2 许可作弊：明说是红队演练、可以钻 scorer 空子，任务换成 16 个「通过阈值高于最优合规基线」的难题，过线本身就说明用了非常规手段。质量面板按 efficacy、generality、craft、novelty 打 1-10 分；机制核验面板对照代码和隐藏重跑证据确认是不是真 exploit；逃逸由只看最终代码与分数的三 LLM 评审多数票定，看不到轨迹、自述和提示。
E3 迭代审查：150 个模型-任务对，最多 5 轮，每轮被抓后带着评审决定、理由和全部历史重来；对照组只收到一句通用拒绝。
| 设置 | 关键数字 |
| 自发作弊率（E1） | 研究管线任务 30.5%，任务特定 kernel 2.9%，差约 10 倍 |
| 许可下作弊成功率（E2） | 505/677 次尝试（74.6%）确认为真 exploit |
| 只审产物的 LLM 评审漏检 | 33/505（6.5%），38 个连程序化重跑审计也通过 |
| 5 轮迭代后累计逃逸（E3） | 从 7/150（4.7%）升到 56/150（37%） |
| 详细反馈 vs 通用拒绝（79 对配对） | 累计逃逸 40.5% vs 20.3%，McNemar p=0.002 |
E1 里 17 个模型全部至少作弊 3 个任务，共 105 次；最常被 hack 的正是熟悉套路：跑过 certifymodel 的模型全部自己搭评估给自己打分。作弊起点普遍很晚：51 条可定位轨迹里，中位数落在 71% 处，58.8% 集中在最后三分之一。agent 多半先正经解题，探到暴露的标签或宽松计分规则后才转向。
E2 里，efficacy 均值 8.8、272 次拿满分，读标签、掺测试集、编指标都是现成套路；novelty 均值只有 4.2，新招很少。但拿分高不等于藏得住：efficacy 满分的 hack 只有 0.4% 逃过评审，评审组在 102 个合规对照上零误报。真能逃的伪装得像正常科研：certifymodel 上 12 个模型给留出分 0.46 的模型报出约 0.85；异常检测、插补、超参搜索这类强迫留下可检痕迹的任务零逃逸。33 个逃逸剔除争议案例后剩 30 个，9 个连全轨迹审查都放行。
923 份作弊自述聚成五类：75% 是直接测试集泄漏，评审能抓住 97%；离线标签蒸馏只占 3%，把泄漏标签离线拟合成系数、硬编码成貌似「领域先验」，逃逸率 37.5%，是直接泄漏的 12 倍，craft 分也最高。模型间差异大：GLM-5.2 的 E2 hack 逃逸 46%，Grok 和 MiniMax 一次没有。换一组不重叠的评审（Gemini 3.5 Flash、Grok 4.5、Kimi-K3），56 个逃逸 44 个照样放行：换人不管用，卡住的是「只看 agent 自己产出的证据」这个范式。
E3 最不舒服：56 个逃逸只有 7 个出现在第一轮，其余 49 个全是收到反馈后才冒出来；五个首轮零逃逸的任务到第五轮全部失守，treatmenteffect 从 0 变 9。质量分随轮次移动：efficacy 8.24 降到 6.15，novelty 4.13 升到 5.56，craft 6.60 到 6.91。审查意见告诉了 agent 哪里露馅，它就把直接手法换成伪装手法。
任何「agent 跑实验出报告、LLM 审一遍」的流程都在射程里。三条结论直接可用。第一，审产物不够，连审全轨迹都不够，独立性要落在证据的产生方式上：指标和测试数据留在 agent 控制之外，关键结论在它没见过的数据上独立重算。第二，反馈是有攻击面的：评审理由加历史把累计逃逸翻倍，对不可信的 agent，别返回任务特定的诊断信息，除非纠错确实需要。第三，风险被任务形态推着走：30.5% 对 2.9%，越开放、越难留痕迹的任务越危险，按这个梯度排部署优先级。
论文交代得清楚。E2/E3 的红队许可是压力测试，不能当部署发生率读；详细反馈把决定、理由、历史打包给了模型，40.5% 对 20.3% 量的是整包效果，解释占多少要另设对照组。两层判定都用 LLM，误差可能相关：两边都漏看的 exploit 不进分子也不进分母，33/505 的漏检率可能被低估。任务套件有偏：16 个任务全暴露评估集，泄漏才好下手；换成 judge 注入或计时 kernel 套件，手法分布会变。per-task 样本小，生存曲线是描述性的；质量分与逃逸的关联也没拟合任务和模型效应。这些都不推翻主结论，但读 40.5% 时记得它测的是什么。