Pervasive Annotation Errors Break Text-to-SQL Benchmarks and Leaderboards
Tengjun Jin, Yoojin Choi, Yuxuan Zhu, Daniel Kang
cs.AI, cs.DB
2026-01-14
BIRD 标注错误率 52.8%,修正 100 题后 16 个 text-to-SQL agent 排名最大变动 9 位。
text-to-SQL 选型基本看 BIRD、Spider 这类公开基准的排行榜。基准由人工写自然语言问题和标准 SQL,评测时把 agent 生成的 SQL 与标准 SQL 都在数据库上执行并比对结果,即执行准确率(EX)。标准答案错了,后面的分数和排名就全错了。
此前 Arcwise 团队审计过 BIRD Mini-Dev,报告 32.3% 的例子有问题,金融域另有 49% 的独立报告。UIUC 的四位作者把审计做成系统工程:AI agent 先筛,SQL 专家逐条裁决,再修正 100 题的随机子集,重跑 BIRD 榜单上全部 16 个可复现的开源 agent。实测错误率过半,榜单排名大面积失真。BIRD 上报告的相对差距,相当一部分可能来自标注错误本身。
筛查工具是 SAR-Agent(SQL Annotation Reviewer),底层用 OpenAI o3,每题最多迭代 30 轮。设计思路是模拟数据分析师的探索式数据分析(EDA)流程,不靠单轮 LLM 读题打分,靠数据库执行结果当证据:
人工部分分三步:SAR-Agent 出报告;两名作者独立复核每个被标记的例子,分歧时四人合议;再按已发现的错误模式扩展排查同类题。错误归为四类:E1 标准 SQL 与题意不符,比如题目要求严格大于,SQL 却用含边界的 BETWEEN;E2 对数据或 schema 理解不足,在两个基准里都最常见,错误例中占比约 58%;E3 领域知识出错,典型如把 K-12 当成 1 到 12 年级,漏掉幼儿园;E4 题目本身有歧义。
修正用 SAPAR 管线,把 SAR-Agent 嵌进标注流程:agent 审、人复核、改完再审,最多三轮。100 题随机子集(62 易、28 中、10 难)改了 48 题:SQL 41 题、问题 19 题、外部知识 17 题、schema 1 题;另有 6 题往数据库插入区分性行,防止错误 SQL 碰巧跑出与正确 SQL 相同的结果。
| 基准 | 指标 | 结果 |
| BIRD Mini-Dev | 标注错误率 | 52.8%(263/498),此前 Arcwise 报告为 32.3% |
| Spider 2.0-Snow | 标注错误率 | 62.8%(76/121,仅含公开标准 SQL 的题) |
| SAR-Agent | 检测精度 | BIRD 83%,Spider 2.0-Snow 89% |
| SAR-Agent | 单题成本 | BIRD 0.44 美元(5.1 步),Spider 2.0-Snow 1.11 美元(7.6 步) |
对 Arcwise 报告的 161 个错例,SAR-Agent 命中 85.7%,并多找出 41.6% 的新错例。Spider 2.0 团队已经用 LLM 复核过两轮,分别修正 45% 和 5% 的例子,仍留下 62.8% 的错误率,比 BIRD 还高。
16 个 agent 在 100 题子集上修正前后的变化(排名为这 16 个内部排名):
| Agent | 原排名 | 修正后排名 | EX 变化 |
| CHESS | 7 | 并列第 1 | 62%→81%,相对 +30.6% |
| MAC-SQL | 14 | 5 | 相对 +29.3% |
| Contextual-SQL | 1 | 7 | 下降 |
| OpenSearch-SQL | 2 | 11 | 下降 |
| GSR | 4 | 13 | 相对 +3%,被反超 |
| SFT CodeS-15B | 15 | 16 | 56%→52%,相对 -7.1% |
16 个 agent 的 EX 相对变化在 -7% 到 +31% 之间,12 个上升;排名平均移动 5 位,最大 9 位。相关性分析把责任钉在标注上:原始子集与全量 Dev 集的排名高度相关(Spearman 相关系数 0.85,p=3.26e-5),说明抽样没问题;原始子集与修正子集的排名相关系数只有 0.32(p=0.23)。排名洗牌来自标注修正,不是抽样噪声。
对做 text-to-SQL 的人,直接结论是 BIRD 榜单的相对排名不可尽信,选型前值得翻具体错例;CHESS 这类被错误答案压分的 agent 可能被低估。方法论上的价值更通用:靠执行比对打分的基准,审计也应该在库上执行验证,SAR-Agent 加专家裁决的单题成本在 0.44 到 1.11 美元之间,这套流程可以搬到其他执行型基准。Spider 2.0 的数据还说明纯 LLM 判卷不够,两轮 LLM 辅助修正之后,错误率依然是两个基准里更高的那个。
修正只落在 100 题子集上。原始子集与全量排名高度相关,但修正后的子集能否代表修正后的全量排名,论文没有直接验证,16 个 agent 的名次变化都是子集数字。最终「正确」由四位作者裁决,领域知识靠 Wikipedia、CDC 等来源交叉核对,没有外部仲裁;SAR-Agent 建议的修正 SQL 也没有单独评测准确率,论文自己承认这一点。Spider 2.0-Snow 共 547 题,只审了公开标准 SQL 的 121 题。修正还包括往数据库插数据,严格说修正前后的基准已不是同一个库,消融显示这对排名影响很小(相关系数 0.95),但这一步毕竟改动了评测对象。