开源 Quail 引擎协同规划 SQL 与 LLM 推理,单 H100 达每分钟 10 亿 token

sh_reya · x · 2026-09-25

研究者 shreya 与 Modal 合作发布开源 AI-SQL 引擎 Quail。现有 AI-SQL 系统只做逻辑与物理层优化、不管推理栈,Quail 则把查询规划与 LLM 推理统一编排,单个查询在一张 H100 上即可达到 1B+ input tokens/min 的吞吐。作者指出 AI 数据算子构成了一类全新的推理负载,推理栈层面存在大量唾手可得的优化空间。

所属事件:UC Berkeley 团队联手 Modal 开源 AI-SQL 引擎 Quail(25 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →