26人团队提出ABC清单:Agent基准设计缺陷可致成绩误估高达100%
ddkang · x · 2026-09-19
来自 UC Berkeley、Stanford 等机构、由 Percy Liang、Matei Zaharia、Ion Stoica、Daniel Kang 等署名的论文指出,当前大量 agentic benchmark 在任务设置与奖励设计上存在缺陷:
- SWE-bench Verified 测试用例不足;TAU-bench 把空回复计为成功,此类问题会导致 Agent 能力被相对高估或低估最多 100%
- 团队据此提出 Agentic Benchmark Checklist(ABC):一套从基准构建经验、最佳实践调研和已报告问题中总结的评估规范
- 在评估设计复杂的 CVE-Bench 上应用 ABC 后,性能高估幅度减少了 33%
论文共 39 页,含 15 张表、6 张图,为构建严谨的 Agent 评测提供了可操作指南。
「编程与Agent」频道最新
- 游戏开发者辟谣:AI 一天做出完整游戏多为炒作 — bendee983 · 2026-11-04
- 用 ChatGPT 从 Excel 一键生成带地图联动的交互式仪表盘 — TermRemarkable665 · 2026-11-04
- 开发者称 Agent 把开发周期从数周压缩到一天 — Suspicious_Orchid770 · 2026-11-04
- YC 孵化 Orgo：为 AI Agent 提供专属云桌面，已服务超 1000 团队 — Scobleizer · 2026-11-04
- 开发者自述：Vibe Code 出 PMF 产品后，工程化烂摊子靠专业开发救场 — sujingshen · 2026-11-04
- 用一句提示词让 AI 排查跨区流量：迁移服务省掉跨大西洋延迟 — DanielLockyer · 2026-11-04