修正后 text-to-SQL 数据让 16 个开源 agent 排名最多变 9 位
ddkang · x · 2026-07-28
- 在修正后的 BIRD Dev 子集上重新评估 16 个开源 text-to-SQL agents 后，排名波动达到 -9 到 +9。
- 原本的 SOTA Contextual-SQL 从第 1 掉到第 7，而 GenaSQL 和 CHESS 则升到第 1。
- 配图对比了原始与修正后的执行准确率，说明 leaderboard 对标注质量极其敏感。
所属事件:VLDB 2026论文审计发现BIRD与Spider 2.0-Snow错标率超50%(8 条相关)→
「研究」频道最新
- q-Neurons：用随机 q 导数激活函数提升神经网络性能 — FrnkNlsn · 2026-09-23
- 曝 OpenAI 将办期刊:内部模型多 agent 评审,冲击 ML 会议 — kfountou · 2026-09-23
- 耶鲁博士生开源顶会论文画图脚本，还能接入 Claude Code 当 Skill — burny_tech · 2026-09-23
- AI 在 ForecastBench 上追平超级预测员，10 月将再战 — burny_tech · 2026-09-23
- 几句 prompt 让 Opus 用 Lean 形式化验证 Agent SDK,产出 16 个修 bug PR — bcherny · 2026-09-23
- 数学家群体才是 AI 数学突破的幕后功臣 — tak3sh8 · 2026-09-23