开源 AI-SQL 引擎 Quail：单张 H100 跑出每分钟 10 亿+ token

charles_irl · x · 2026-09-25

shreya 团队与 Modal 合作发布了开源 AI-SQL 引擎 Quail：通过将查询规划与 LLM 推理联合优化（planning queries and LLM inference together），单条查询在一张 H100 上达到 10 亿+ 输入 token/分钟的吞吐。

作者指出，AI 驱动的数据算子（AI-powered data operators）正在成为一种全新的推理负载形态，而把工作负载「下沉」到推理栈（pushing down workloads into the inference stack）里仍有大量机会。转发者认为这是数据库与推理系统交叉方向上很有前景的探索。