轻量模型在MIT企业级Text-to-SQL基准跑到31-39%，论文记录仅11.4%
Temporary_Papaya1058 · reddit · 2026-11-02
MIT 的 BEAVER 是基于真实企业数据仓库构建的 Text-to-SQL 基准，论文中最佳配置的执行准确率仅 11.4%。开发者用开源 schema 选择工具 schemagate 配 Gemini 2.5 Flash 在 100 题样本上跑到 31-39%（dw 31%/复测35%、neutron 39%），表召回率达 97.7%。
三个关键改进：
- 修了个 bug：dw 未声明主键导致 schemagate 推断出零个 join，接受同名键列后从 0 修复到 55 个 join。
- 无词汇重叠的桥接表：新增 expandinward 选项，把外键指向已选表的桥接表纳入。
- 示例检索：用 BEAVER 公开 split 里三道相似已解题做 few-shot——gold SQL 编码了 schema 本身猜不出的仓库惯例（学期代码、状态键）。
作者诚实标注注意事项：论文的 11.4% 不用示例，对比不完全对等；测试题已从示例池排除，排除 6 道与示例完全重复的题后成绩为 31.0/34.7/38.5；非官方榜结果，已提交 BEAVER 团队。两个修复已进 1.15.4 版本（pip install -U schemagate）。
「编程与Agent」频道最新
- 用 LLM 海量生成稀有内容，复刻动画式 MMORPG 体验 — rickasaurus · 2026-11-04
- 开发者自写 Chrome 插件给 X 换回经典小鸟图标 — joonasvirtanen · 2026-11-04
- 开发者给个人聊天应用加上「许愿」界面，自动触发 OpenCode 后台 Agent — SubtleGradient · 2026-11-04
- OpenHands+Harbor+SkyRL 组合，让产品公司给自己的 Agent Harness 做后训练 — StasBekman · 2026-11-04
- Google Antigravity 新 UI 曝光:将新增上下文与配额指示器 — clmt · 2026-11-04
- 微软 4B 小模型登顶 OSWorld:Mage-VL-Cowork 得 66 分逼近人类 — microsoft · 2026-11-04