VLDB 2026 论文发现，BIRD 和 Spider 2.0-Snow 错标率超 50%
ddkang · x · 2026-07-28
- 这篇 VLDB 2026 论文研究的是 text-to-SQL agent 的 benchmark 标注问题。
- 作者称在 BIRD 和 Spider 2.0-Snow 里发现了 超过 50% 的标注错误，足以让测得性能最多变化 19%。
- 结论是：这些 benchmark 和 leaderboard 的数字，可能比表面看上去 不可靠得多。
所属事件:VLDB论文揭示两大Text-to-SQL基准错标率超50%(7 条相关)→
「研究」频道最新
- Wolfram 等人探索人工生命：Lenia 模拟器与数字演化 — max_romana · 2026-07-28
- Kimi K3 报告披露内核优化、编译器和芯片原型 — stochasticchasm · 2026-07-28
- 人工生命视频补充了 Lenia 模拟器链接 — max_romana · 2026-07-28
- 人工生命视频追问：开放式进化还缺什么 — max_romana · 2026-07-28
- Macrocosmos 启动三大洲分布式的 160 亿参数训练 — markjeffrey · 2026-07-28
- 一份免费 AI 课程地图：从基础到 LLM 的学习路径 — tetsuoai · 2026-07-28