LuthorSQL: A One-Pass Text-to-SQL Model as System 1 for a Slower LLM Agent
Ibrahim Memon, Armin Karamzade, M. Hanif Jhaveri, Roy Fox
cs.CL, cs.AI, cs.DB, cs.LG
2026-11-13
UC Irvine 的 7B 模型用一次前向传播填 SQL 计划槽位,不确定才升级给 Claude Opus:BIRD 测试集 68.03%,级联省 33% API 成本且精度不掉。
带工具的 LLM agent 是目前最准的 text-to-SQL 系统:Claude Opus 5.5 配只读 SQL 工具,在 796 道 BIRD 训练库 held-out 题上拿到 77.26% 执行准确率。账单也随之而来,按列表价约 2 美分一题,一天一万条就是一年 7 万多美元,而且每条查询都发给了外部 API:慢、贵、还泄露业务口径。
动机是一个朴素观察:400 题样本里 Opus 答对的 311 题中,作者的单遍 7B 模型自己也答对了 228 题。企业数据问答大多是例行问题,用不着 frontier 模型。于是套用 Kahneman 的双系统框架:本地 7B 当 System 1 快速作答,拿不准的再升级给 Opus agent(System 2)。
LuthorSQL 不逐 token 写 SQL,回到槽位填充的老思路,在 7B 骨干上重做:
两个 adapter 共享同一份冻结骨干,权重只加载一次:这是一个 7B 模型加两个小 adapter,不是 LLM 集成。
| 设置 | 指标 | 结果 |
| LuthorSQL 单独,BIRD hidden test(1,789 题) | 执行准确率 | 68.03%,0.84 秒/题(单张 H100) |
| 同上,8-bit 量化 | 精度 / 占用 | 约 9 GB 跑在 M3 笔记本,239 题 159 vs 158 对,持平 |
| 零样本方言迁移(BIRD dev) | 执行准确率 | Snowflake/BigQuery/MySQL/PostgreSQL/DuckDB 57.1–59.3%,SQLite 60.17% |
| 级联 vs 直连 Opus API(227 题新库) | 成本 / 精度 | 省 33.3%,95.15% vs 95.59%(不显著) |
| 级联,RESERVED 348 题三次运行 | 成本 | 省 24.8% / 32.9% / 32.5%,精度与 Opus 差 1.2 点内 |
| 污染探测:Opus 不看 schema | 逐字复现 gold SQL | 48–92% |
本地处理比例约一半:RESERVED 三次运行 49.1% 的查询没出门,外部基准(KaggleDBQA + Spider-Realistic,693 题)48.1%。k-best 值这个价:单 greedy 计划 0.13 秒拿 49.12%(DECISION),扩到 32 候选多花 0.7 秒换 9.93 个点,折合每千次查询 0.64 美元。
污染探测那部分要单独讲。不给 schema、不给工具,只给问题和库名,Opus 能对四个公开基准 48–92% 的题逐字背出 gold SQL,连别名习惯和反引号格式都一致。这些基准上薄 prompt 的 LLM 分数混着背诵。但 agent 的能力是真的:全库表名列名改掉、问题改写后精度不变(72.88% vs 72.32%,p=1.0);在 Opus 训练截止后发布的 8 个新库上,tool 辅助精度仍有 95.6–97.4%。
对企业做自然语言查库的团队,三件事直接可用:一半查询不出门(隐私)、API 成本省 16–34%、System 1 只要 9 GB 显存,已有硬件就放得下。一个 checkpoint 零样本服务六种 SQL 引擎。设计思路也清楚:结构化输出杜绝语法错误和字面量幻觉,join 交给编译器,把小模型的失败模式逐个堵上。
memorization check 值得变成标配,作者建议所有 LLM text-to-SQL baseline 都跑一遍,这个建议本身就有引用价值。
也要说实话:68.03% 的单模型精度离 frontier agent 的 77% 差着 9 个点。级联的价值是省钱,不是超越 agent,这是一次很实的工程折中,不是精度突破。
作者自己列的局限不短:计划语法只覆盖 BIRD dev gold 的 84.6%,CTE、窗口函数、相关子查询、没见过的模板都做不了;级联没在 BIRD hidden test 上跑过;held-out 测试只有 8、27、8 个数据库,区间宽;第一次预注册运行差 0.1 个点没达到自己定的省钱目标(29.9% 对 30%)。成本是列表价乘 usage log,不是发票,一部分节省来自 Claude Code 会话数变少。
读下来更存疑的还有三处。DECISION 实验里 out-of-grammar 问题靠 gold 识别,部署系统没有这个信息,等于假设了完美检测器。VALHARD 的 hard negative 类别是在评估用的同一 split 上看错误后设计的,+1.76 点可能乐观,而且没过自己写的显著性线(p=0.19)。BIRD hidden test 比 dev 高 8.64 点,作者承认解释不了。另外「held-out」只对 adapter 成立,骨干 OmniSQL 的微调数据包含全部 BIRD train。系统只支持英文和外键 join,agent 只在 SQLite 上测过。
Ethics 部分披露 Claude 写了大量实验代码并参与手稿准备,第一作者逐数核对过日志。透明度加分,读结论时把这点记进去。