阿里与康奈尔论文：独立 critic 审查让编码 agent 准确率最高提升 9.5 分
dair_ai · x · 2026-10-27
阿里巴巴与康奈尔大学的论文《Rethinking Verification in Agent Harnesses》系统研究了编码 agent harness 中的验证设计，对构建 agent 的工作流很有参考价值。
研究设置
- 比较了 17 种验证设计，横跨 7 个前沿编码模型，基准为 Terminal-Bench 和 SWE-bench Verified，另引入 VisualBench 评测视觉/交互产物
- 验证按 agent 生命周期分四层：初始指令、运行中提醒、完成前门槛（gate）、末尾独立 critic 审查
关键结论
- 初始指令和运行中提醒：收益小且依赖模型
- 完成门槛：收益更大但成本可能大幅上升
- 独立 critic 性价比最高：Terminal-Bench 提升 5.9-9.5 分（成本 1.13-1.25 倍），SWE-bench Verified 提升 3.9-6.6 分（成本仅 1.00-1.04 倍）
- VisualBench 上四个设计超出基线 13.2-23.8 分，超过被评测的 Lo-L2 模型之间的差距
- 增加审查轮数可再为 Terminal-Bench 带来最多 3.5 分
结论：独立审查是实用且值得的测试时扩展（test-time scaling）方向。
「编程与Agent」频道最新
- 如何在中途给 Agent 注入指令？开发者求助阶段性摘要失效问题 — tinker_bob · 2026-10-28
- Parallel 发布 Parallel Decisions API：单次调用结合决策模型与实时新闻 — schwentker · 2026-10-28
- Together 提出 MIGHT 开源 AI 技术栈：模型/推理/路由/Harness/工具五层可自由替换 — togethercompute · 2026-10-28
- AI 测试初创 Simulithic 用 Agent 探索应用、自动发现断裂的用户流程 — KlausCodes · 2026-10-28
- 数据分析平台 Hex 融资 1 亿美元，同步发布面向 Agent 的 Hex 4.0 — Scobleizer · 2026-10-28
- 开发者用沙箱让任意 LLM 接管 macOS,实测报税等 10 项任务 — jamesmurdza · 2026-10-28