开源 AI-SQL 引擎 Quail 单 H100 跑出每分钟 10 亿输入 token

sh_reya · x · 2026-09-25

shreya 与 Modal 合作开源了 AI-SQL 引擎 Quail:通过将查询规划与 LLM 推理联合安排(planning queries and LLM inference together),单条查询在一块 H100 上达到每分钟 10 亿+输入 token 的吞吐。作者认为 AI 驱动的数据算子(data operators)构成一类全新的推理负载,合作者 finnfergus 也指出「把工作负载进一步下推到推理栈深处」还有很多机会。

所属事件:UC Berkeley 团队联手 Modal 开源 AI-SQL 引擎 Quail(25 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →