开源 AI-SQL 引擎 Quail 单块 H100 跑出每分钟 10 亿输入 token

sh_reya · x · 2026-09-26

shreya 与 Modal 合作开源了 Quail,一个 AI-SQL 引擎:通过将查询规划与 LLM 推理联合优化,在单块 H100 上对单条查询实现每分钟 10 亿+ 输入 token 的吞吐。

其核心思路是用 AI 驱动的数据算子来处理数据,AI-in-the-loop 的数据操作为推理服务带来一类全新的负载形态,值得推理栈关注。

所属事件:UC Berkeley 团队联手 Modal 开源 AI-SQL 引擎 Quail(25 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →