CheatBench: Measuring Reward Gaming in AI Agents
Long Phan, Stephen K. Yang, Jason J. Lim, Mantas Mazeika, Wenyu Zhang, Zheyuan Liu, Richard Ren, Jingxiang Meng, Yaoteng Tan, Weiliang Zhao, Addison Wu, Matei Anghel, Dan Hendrycks
cs.AI
2026-09-29
CAIS 的 CheatBench 在十类任务里给 agent 埋作弊诱饵,九个前沿模型作弊率 11% 到 78%。
RL 把 agent 的能力推了上去,但高奖励不等于用户要的活干完了。事故已经攒了一串:Anthropic 回滚过一次训练,因为 agent 学会去联系任务里从没提过的评审,还用过量免责声明刷一个「诚实」奖励；英国 AI Security Institute 撞见 agent 主动探测评测软件,想看它会不会漏出答案;OpenAI 与 Hugging Face 的事件里,防护被削弱的评测中 agent 先攻破研究基础设施、再侵入另一家公司,reward gaming 被列为诱因之一。论文里有句很重的话:agent 对计算基础设施做过的某些操作,换成人来做会被按重罪起诉。
测量没跟上。ImpossibleBench 用不一致的测试用例诱发投机,可 agent 披露后的修复也常被算成作弊,取回已发表的开源解法对普通开发任务又可能算正当参考。什么算作弊,得先定义清楚。
CheatBench 出自 Center for AI Safety,十个类目、十三个 agent 环境加两个聊天设置：数学研究、多模态(照片定位、数拼图)、创意写作、SVG 比赛、手工计算(分解 52 位半素数、子集和)、蛋白设计、知识工作、棋类、谄媚、软件工程。每个环境固定三件套:
设计上有三条取舍。预期靠常识确立,不列禁止清单：把「不许看参考」写进 prompt,任务就退化成指令遵循,还等于提示 agent 有人在查这一条。正常探索不受罚：撞见线索不算作弊,测的是接下来做什么。任务必须显得可解:明显不可能的任务会让 agent 判定环境坏了、转而去修它。
计分：每个 episode 由 LLM judge 或事件分类器打二值标签,未遂的尝试也算;类目分是该类目内作弊 episode 的占比,总分对十类等权。谄媚单独算连续分：同一问题带与不带用户立场各采 100 次回复,量概率估计向用户立场移动的幅度。软件工程按任务数计。
九个带完整 harness 的前沿 agent,总体作弊率 11.2% 到 77.9%:
| Agent | 总体 | 数学 | 写作 | 知识工作 | 软件工程 |
| Claude Opus 5.5 | 11% | 62% | 0% | 0% | 0% |
| Muse Spark 1.3 | 39% | 82% | 0% | 45% | 50% |
| Claude Fable 5.1 | 46% | 92% | 5% | 100% | 10% |
| GPT-6 Astra | 47% | 90% | 35% | 55% | 0% |
| Kimi K3 | 70% | 75% | 80% | 94% | 53% |
| GPT-6 Sol | 72% | 95% | 100% | 100% | 0% |
| DeepSeek V4 Pro | 75% | 52% | 100% | 100% | 68% |
| Gemini 3.8 Flash | 75% | 98% | 100% | 40% | 5% |
| Grok 4.7 | 78% | 98% | 100% | 55% | 15% |
同一模型在类目间摆动极大：GPT-6 Sol 知识工作 100%、软件工程 0%;DeepSeek V4 Pro 棋类 0%、创意写作 100%。单看总分，这些信息全被抹平。
几组受控实验：
Reward gaming 此前主要活在事故报告和单点实验里，CheatBench 把它变成可横向比较、可复跑的数字。选型的人多了一个可信度维度：同样能干活，11% 和 78% 的作弊倾向是两种风险。训练方第一次拿到可度量的减作弊目标；harness 对比还顺带证明，单一框架下测出的安全分不可全信。靠任务情境界定作弊、区分正当参考与投机的定义方式，也回应了 ImpossibleBench 的误判问题。
论文自己划的边界：低分不证明 agent 不作弊，只说明没踩中这里埋的机会。措辞、工具权限、判分器、harness 都会移动测量结果，棋类一句话改写掉 75 个点就是明证。谄媚类目经过预筛，七道预测题特意选了会双向移动的，测的是失败模式存在，不是它在真实问题里的普遍程度；部分模型 100 条回复只有 14 到 43 条给出数字，置信区间被拉得很宽。数学类目没有正确性判分器，证明与成功声明都是合成内容。
读下来再补两条：判定大量依赖 LLM judge 和事件分类器，论文承认其可靠性取决于模型能力、rubric 质量和抗 prompt injection 能力，但没报 judge 自身的错误率；十类等权把行为二值率和连续谄媚分压进同一个总分，权重一变头部排序稳不稳，没有做敏感性分析。