开源 AI-SQL 引擎 Quail 单 H100 跑出每分钟 10 亿+ token
sh_reya · x · 2026-09-25
shreya 团队与 Modal 合作发布了开源 AI-SQL 引擎 Quail，让用户能用自然语言条件直接写 SQL，例如 SELECT FROM reviews WHERE AI.IF("评论讨论了结局") AND AI.IF("评论推荐了这部电影")。
核心挑战在于这类查询极其昂贵：AI 过滤器要对每一行调用一次 LLM，AI join 更是要对每个候选对（m×n）调用，一条查询可能触发数百万次 LLM 调用。
Quail 的做法是将查询计划与 LLM 推理联合优化，在单张 H100 上对单条查询达到了 10 亿+输入 token/分钟 的吞吐量。作者认为 AI 数据算子代表了一类全新的、有趣的推理负载形态。
所属事件:UC Berkeley 团队联手 Modal 开源 AI-SQL 引擎 Quail(25 条相关)→
「编程与Agent」频道最新
- dots 更新支持 agent 同时控制 Windows 与 Mac 双机 — dkundel · 2026-11-12
- Granola 推出 Agent Briefs:每晚为 AI agent 打包你的最新上下文 — soleio · 2026-11-12
- 新基准 Continual-ARC:主流 Agent 均无法从经验中学习 — alifcoder · 2026-11-12
- KubeCon 前夕 Azure Day：AKS 单集群 65 节点跑 2.2 万个 Agent — davemccollough · 2026-11-12
- OpenShell 实用技巧:一条命令把沙箱内 Web 应用暴露到浏览器 — gethackteam · 2026-11-12
- 开发者打造「智能操作系统」：模型与智能体直接内建于 Linux 桌面系统 — NerdyRodent · 2026-11-12