研究发现 BIRD 与 Spider 2.0-Snow 标注错误率超五成
ddkang · x · 2026-07-28
核心结论
作者在这篇 VLDB 2026 论文里指出，两个常用的 text-to-SQL 基准 BIRD 和 Spider 2.0-Snow 存在普遍标注错误。经专家审查后，他们报告两者的错误率都超过 50%，并且这些错误会让 agent 的测得性能最多偏移 19%。
影响
论文的核心意思是：text-to-SQL 的公开榜单未必像看上去那样可靠，因为标注质量本身已经足以显著改变评测结果和排名。
所属事件:VLDB 2026论文审计发现BIRD与Spider 2.0-Snow错标率超50%(8 条相关)→
「编程与Agent」频道最新
- 桌面上常备一部 iPhone，让 Agent 统一驱动手机与电脑 — signulll · 2026-09-23
- Agent 架构法则：验证器可参与生成反馈，但不得直接晋升候选解 — blaizedsouza · 2026-09-23
- Drew Breunig：写 Agent 指令更像立法，而非下棋 — dbreunig · 2026-09-23
- Seroter 日报：GPT-6 与 Opus 5.5 同日发布，1/4 智能体无人监控 — rseroter · 2026-09-23
- 让 Claude 自动开终端面板装依赖，作者称 tmux 做不到 — letandrewcook · 2026-09-23
- 两小时做出幼儿互动绘本：Agent 访谈式工作流走红 — mimi10v3 · 2026-09-23