Meta 让 agent 自动造编码 benchmark,免人工标注拦下全部坏 grader

Benchmark Factory: Agentic Benchmark Creation via Dataset Curation and Label-Free Quality Anchors

Shervin Shahidi, James Poon, Hang Xie, Kenneth O. Xu, Robin Håkanson, Vikram Nair, Jens Pillgram-Larsen, Nachiappan Nagappan

cs.SE, cs.AI

2026-11-14

Meta 的 meta-agent 从已合并的生产代码改动自动生成并自检编码 benchmark:五个开发组落地,十个未见配置的对比九个方向正确。

这篇在解决什么

把 coding agent 用进真实工程流程的团队,很快会发现 SWE-bench 这类公开套件测不到自己的应用、操作系统和内部框架。要在自家代码上测,只能手工出题、逐题核对结果,PerfBench 这种靠专家验证每个任务的基准没法在每个团队复刻。跳过验证更糟:一套太简单、太难或噪声大的 benchmark,会悄悄扭曲在它上面做过的每一次模型对比。Meta 这篇论文把出题和验题都交给一个 agent,再配上一套不需要逐题人工标注的验收标准。

方法

Benchmark Factory 是一个 meta-agent,即专门给其他 agent 造评测的 LLM agent,跑在 Ralph 式循环里:每轮新开 context、状态存进文件,长跑不退化。候选 benchmark 走四步:RESEARCH 在生产数据上写 sourcing query 和评测配置;LAUNCH 给每个受测模型起一轮跑分;ANALYZE 区分基础设施故障和真实失败、检查质量锚点;不过关就进 HILL-CLIMB,读任务级结果和轨迹做诊断修复,最多五轮后交给人。

任务是一次已合并(landed)的生产代码改动:agent 拿到改动的标题和摘要,在 parent commit 上干活。改动自带测试就用测试判分(SWE-bench 式),没有就用 LLM grader 把 agent 的 patch 和 landed patch 对比打 0–100 分,五个组都用 GPT-5.5 当 grader。

核心是质量锚点(quality anchors):不看任务内容,只约束已知相对强弱的模型的通过率。

修复顺序是设计里最讲究的部分:越能对着模型调测量的手段越往后放。先改 sourcing query,再改任务呈现、修 pipeline、剔除有缺陷的单个任务,阈值永远最后动;grader 和预期排序直接冻结,只能靠候选之外的外部证据修改,否则循环可以靠放宽判分凑锚点。另有 20% 的 holdout 用哈希冻结成员,每轮重跑,但永不驱动修复或验收。

结果

证据设置结果
模型家族迁移GPT-5.5 vs GPT-5.4,构建时没跑过,还换了 agent harness65.8% vs 60.5%,+5.3 个百分点(95% CI [1.6, 8.9],p=0.004,n=552),五组中四组领先
推理档位迁移Opus 4.7 高档 vs 低档,构建时只跑默认档60.6% vs 54.4%,+6.2 个百分点(p=0.002,n=551),五组全为正
专家评审30 个抽样任务(约 600 题的 5%),1–3 分制任务质量 2.3,判分 2.6;58 个判分 69% 正确、9% 错
负对照故意出烂题、五个坏 grader、洗掉真实排序全被锚点拦下;洗牌零假设下,最多五次重抽的通过率 ≤1.4%(20,000 次模拟)

十个按组对照里九个方向正确,两个主对照都活过了 Bonferroni 校正、去掉开发组、去掉与构建重叠的任务。

成本可控但不便宜:一轮约 480 次 agent run(四个模型 × 约 120 题),几小时跑完;C2 两轮收工(约 960 次),C3 五轮(约 2,400 次)。五个被接受的 benchmark 有四个经过修复,合计 8 次 sourcing、5 次阈值、3 次基础设施、1 次 prompt,外加 C1 的 3 次 grader/排序变更。修复按声明规则走,不是逐题挑拣:C2 开局 Opus 4.7 和 Sonnet 4.6 打成 70% vs 68%(p=0.66),meta-agent 把 sourcing query 改成更大的改动(3–6 个文件、至少 50 行),变成 67% vs 59%,96 道题换掉 81 道。C5 的一个候选因底层模型持续反超中层(合并 p=0.049)整单被拒,基础设施覆盖全量后换数据重做,零修复通过。开发组 C1 还出过一次事故:Opus 4.5 的模型标识符写错导致 0 分,meta-agent 误诊成能力太低、降阈值凑验收,事后撤回,由此固化了「先查运行健康度、再看分数」的规则。

两个附加检查:退化提交测试里 landed patch 100% 过,纯注释 no-op、别人的 patch、凑长度 padding 全部 0% 过;一小时内造出的 40 题演示 benchmark,把一个「不做改动却声称成功」的 sabotage skill 打到 0%(p<10⁻⁴)。

为什么重要

要在私有代码上评 coding agent 的团队,这套流程把主要成本从专家出题加逐题验证,压到在验收和拒绝两个人工检查点上签字。锚点比整条流水线更容易搬走:只要手里有一组相对强弱已知的模型,任何自动生成的数据集都能用「强模型是否确实排前面」当免费验收信号,负对照则给出了这个信号值多少的量化答案。同类工作要么靠人工筛(SWE-bench Verified 逐条人审),要么只验证可分性,很少给「坏基准会不会被漏掉」的数据。只取一半也成立:让 agent 出题修题,验证仍走人工,C2 那种按规则一次换掉 81 题的修复,人做会很慢。

局限与存疑

作者自述:全部数据来自单一组织,没有手工基准可对照;专家样本小、单人评分,算不出评分者一致性,评分者还看得到模型名和 grader 的理由;能力排序本身是假设,样本外轴只能缓解;holdout 小且重抽过;论文明确说不主张 loop 产出的每个 benchmark 都有效。

读下来还有两点。模型家族那组对照的 grader 恰好是 GPT-5.5,和受测模型同家族,self-preference 可能抬高差距;companion benchmark 显示 grader 家族移动水位、不移动排序,但主实验没有换家族的 grader 重跑。专家审计里 5 个错判全部同因:任务描述漏掉 landed patch 里的细节(枚举值、优先级),grader 罚了任务没要求的东西;锚点对这种拉低所有人的缺陷天生失明,作者把过滤欠规范任务留给未来。另外 benchmark 数据在 Meta 内部不公开,外界只能按论文描述复现流程,没法核对题目本身。

术语

原文与代码

社区讨论

相关论文

全部论文解读