VLDB 2026 论文发现，BIRD 和 Spider 2.0-Snow 错标率超 50%
ddkang · x · 2026-07-28
- 这篇 VLDB 2026 论文研究的是 text-to-SQL agent 的 benchmark 标注问题。
- 作者称在 BIRD 和 Spider 2.0-Snow 里发现了 超过 50% 的标注错误，足以让测得性能最多变化 19%。
- 结论是：这些 benchmark 和 leaderboard 的数字，可能比表面看上去 不可靠得多。
所属事件:VLDB 2026论文审计发现BIRD与Spider 2.0-Snow错标率超50%(8 条相关)→
「研究」频道最新
- 新论文 PFD 统一解释 SDS 模式坍缩，蒸馏收敛更快方差更低 — burny_tech · 2026-09-23
- 剑桥出版高维统计新教科书,Samworth 与 Shah 合著免费开放 — FrnkNlsn · 2026-09-23
- Reinforce-Ada:按难度自适应分配算力,RLVR 收敛加速至 2 倍 — burny_tech · 2026-09-23
- 论文:Transformer 并非没有世界模型,而是特征叠加互相干扰 — burny_tech · 2026-09-23
- 新论文称 Transformer 难以学会 loop-closure 世界建模 — burny_tech · 2026-09-23
- Epoch AI 报告:「思考」的价格正在暴跌,智能成本持续陡降 — Proper_Actuary2907 · 2026-09-23