开源 AI-SQL 引擎 Quail 单 H100 跑出每分钟 10 亿+ token
sh_reya · x · 2026-09-25
shreya 团队与 Modal 合作发布了开源 AI-SQL 引擎 Quail，让用户能用自然语言条件直接写 SQL，例如 SELECT FROM reviews WHERE AI.IF("评论讨论了结局") AND AI.IF("评论推荐了这部电影")。
核心挑战在于这类查询极其昂贵：AI 过滤器要对每一行调用一次 LLM，AI join 更是要对每个候选对（m×n）调用，一条查询可能触发数百万次 LLM 调用。
Quail 的做法是将查询计划与 LLM 推理联合优化，在单张 H100 上对单条查询达到了 10 亿+输入 token/分钟 的吞吐量。作者认为 AI 数据算子代表了一类全新的、有趣的推理负载形态。
所属事件:UC Berkeley 开源 AI-SQL 引擎 Quail，单 H100 吞吐破 10 亿 token/分钟(8 条相关)→
「编程与Agent」频道最新
- Docker 推出 Cloud Sandboxes:合盖后 agent 继续跑 — juntao · 2026-09-25
- Claude Code 2.1.282 更新：移除 claude-haiku-4，提示词再增 21.6% — ClaudeCodeLog · 2026-09-25
- Claude Code 2.1.282 发布:86 项 CLI 改动,修复 400 报错 — ClaudeCodeLog · 2026-09-25
- IDS 论文获 NeurIPS 口头报告:AI 自动生成带形式化证明的分布式系统代码 — AccBalanced · 2026-09-25
- Opus 5.5 加开源脚本 15 分钟全自动做出游戏实机广告视频 — Chemical-Character80 · 2026-09-25
- 斯坦福 CS329Z 开课:把 Agent 工程讲成一门系统科学 — stanfordnlp · 2026-09-25