开源 AI-SQL 引擎 Quail：单张 H100 跑出每分钟 10 亿+ 输入 tokens

sh_reya · x · 2026-09-27

研究者 shreya 联合 Modal 发布开源 AI-SQL 引擎 Quail：通过将查询计划与 LLM 推理统一规划，单张 H100 上单查询即可达到 1B+ 输入 tokens/分钟的吞吐。

核心思路：AI 驱动的数据算子（data operators）创造了新型推理负载，Quail 把 LLM 推理“推近数据/查询层”——与 Jevons 范式把决策推近模型层不同，它让查询执行和推理调度协同设计，从而大幅提升大规模数据上的 AI 查询效率。项目与 Modal 合作开源。