Meta 发布 Benchmark Factory:用 agent 从自有代码库自动生成编码评测
omarsar0 · x · 2026-11-20
Meta 论文提出 Benchmark Factory,一个 multi-agent 元循环,把团队已合并的生产代码变更自动转化为编码基准,无需逐任务人工标注。
- 工作方式:一个 LLM meta-agent 撰写 sourcing query 从已落地的代码变更中筛选任务,跑一组相对强度已知模型作为「质量锚点」(强模型应比弱模型通过率更高),诊断失败原因并修复 query/prompt/配置直到通过锚点检查。
- 锚点有效性验证:作者故意喂入坏基准测试锚点——过于简单的基准、5 种损坏的 grader 均被拒绝;打乱模型身份标签后,坏基准最多仅在 1.4% 模拟中漏网。
- 实测结果:为 Meta 5 个开发者群体构建基准,专家审计任务质量 2.3/3、grader verdicts 2.6/3(1-10 量表改为 5 分抽样)。在未参与构建的配置上,基准正确排出 Claude Opus 4.7 high effort 优于 low effort(60.6% vs 54.4%,p=0.002)、GPT-5.5 优于 GPT-5.4(60.5% vs 60.5%... 图中数据为 65.8% vs 60.5%,p=0.004),10 项群体间对比中 9 项方向正确。
「编程与Agent」频道最新
- Genie 4 API 上线:精确控制相机轨迹重构图与运镜 — korymath · 2026-11-20
- GrepMem:纯文本日志+正则搜索让长程 Agent 达到 95-97% 准确率 — dair_ai · 2026-11-20
- Tripo 推出 Agentic Canvas:AI 规划全流程批量生成 3D 资产 — LinusEkenstam · 2026-11-20
- OpenAI 将于 11 月 12 日切断 Cursor 模型访问,SpaceX 600 亿美元收购是导火索 — shashib · 2026-11-20
- Infor 携手 AWS 演示企业 Agent 栈:Claude Sonnet 4.6 当主管调度员 — shashib · 2026-11-20
- Treg 发布 /REA-marketing 技能:逐周逆向拆解任意品牌营销打法 — cneuralnetwork · 2026-11-20