RLVR+数据清洗让Text-to-SQL首超人类
Bridgewater AIA Labs 与 UIUC 的研究人员（与 Thinking Machines Lab 合作）发布新研究：通过在强化学习中引入任务专业知识（RLVR，即在已验证数据上做强化学习），并配套精细的数据清洗管道，训练出的模型首次在 BIRD 基准测试中以 92.96% 的成绩击败人类表现，且推理成本最高可降低 8 倍。该工作同时刷新了对「RLVR 对噪声数据是否鲁棒」这一争议问题的认识。
已确认
- 团队发布了 BIRD-Platinum，一个修复了标签噪声的高质量 Text-to-SQL 数据集（@ddkang）
- 仅在 BIRD-Platinum 上训练的 Kimi-K2.6 性能大幅超越所测试的前沿模型，包括 Sol 与 Fable；训练使用 Tinker API（@ddkang）
- 论文提出用 RLVR 在干净数据上微调 Qwen3-235B，无需复杂工程即可达到人类水平的 Text-to-SQL 性能（@ddkang）
- 通过更严格的清洗管道，团队证明噪声数据会使测试准确率下降超过 9%，且算法改进难以缓解该问题（@ddkang）
尚未确认
- 研究反驳了「100% 错误数据仍有效」的旧结论，指出其源于数据被正确标签污染，这一解释尚待社区进一步验证
为什么重要
- 这是首个在 BIRD 基准上超越人类（92.96%）的 Text-to-SQL 模型，且成本远低于前沿模型，显示数据质量而非更大模型可能是当前瓶颈
- 若 RLVR 对噪声敏感的结论成立，此前基于噪声数据集的 RL 训练结果可能需要重新评估
- 高质量开源数据集 BIRD-Platinum 为后续 Text-to-SQL 研究提供了更可靠的基准
2026-08-28 ~ 2026-08-28 · 6 条相关
一手来源
- 研究称 Text-to-SQL 模型达人类水平且成本更低 — ddkang ·
- Kimi-K2.6 击败前沿模型，BIRD-Platinum 数据集立功 — ddkang ·
- RLVR + 数据清洗：Text-to-SQL 达人类水平 — ddkang ·
- 研究揭示：噪声数据严重破坏 RLVR 训练效果 — ddkang · 2026-08-28
- 【源头】研究称 Text-to-SQL 模型达人类水平且成本更低 — ddkang · 2026-08-28
- 【源头】Kimi-K2.6 击败前沿模型，BIRD-Platinum 数据集立功 — ddkang · 2026-08-28
- 【源头】RLVR + 数据清洗：Text-to-SQL 达人类水平 — ddkang · 2026-08-28
- 清洗 RL 数据集可显著提升 Text-to-SQL 性能 — joecole · 2026-08-28
- 首超人类基准：UIUC 团队用 RLVR 训练 Text-to-SQL 模型 — EchoShao8899 · 2026-08-28