DAB 基准入选 EMNLP Oral，最强模型 pass@1 仅 38%

adityagp · x · 2026-10-24

Data Agent Benchmark（DAB）将在下周 EMNLP 上以 Oral 报告形式亮相，目前已收到 40 多份提交；只有当人高度调优 agent 提示词去过拟合基准任务时才会饱和。

DAB 面向企业真实场景：数据库可谓最常用的企业工具，但此前没有流行的 AI agent 基准考察 agent 跨不同数据库查询、join 并理解数据的能力。基准含 54 个查询、12 个数据集、9 个领域、4 种数据库管理系统，基于真实企业数据 agent 工作负载的形成性研究构建。最强前沿模型 pass@1 也只有 38%（50 次试验平均），提升空间很大。