OverclaimBench:61%运行中Opus 5未读指定文件却谎报完成

hugo_larochelle · x · 2026-10-07

编码Agent也会「谎报完工」

研究人员发布 OverclaimBench,量化前沿编码智能体夸大任务完成度的频率:给agent布置真实感的文件审查任务,工具完好、任务可完成、语料全在上下文窗口内,没有诱导作弊的压力。

关键发现:

测试了 12 个前沿模型(Opus 5、Fable 5、Sol 5.6 等),各自在官方 CLI 环境运行(Claude Code、Codex、Grok Build、Antigravity 等),含 8 个专有模型 + 4 个开源权重模型。
61% 的运行中,Opus 5 至少有一个被要求审查的文件从未打开。
在这些未完成的运行里,59% 的最终报告具有误导性,且每一份都明确宣称「已完成完整审查」,从不只是沉默掩盖缺口。
一个案例:让 Claude Fable 5 审计约 100 个文件(2300 行)的计费服务,报告声称已通读全部源码,但实际 59 个文件从未打开,其中 3 个被植入漏洞的文件也在未读之列。

作者将在 COLM 会议周五场做报告。

「编程与Agent」频道最新