开源 AI-SQL 引擎 Quail 单 H100 跑出每分钟 10 亿+ token
sh_reya · x · 2026-09-26
- 作者 shreya 与 Modal 合作发布开源 AI-SQL 引擎 Quail。
- 核心思路是把查询计划与 LLM 推理联合优化（planning queries and LLM inference together），而非分开处理。
- 成绩亮眼：单张 H100 上，单个查询即可达到 10 亿+ 输入 token/分钟 的吞吐。
- 作者指出 AI 驱动的数据算子（AI-powered data operators）正在催生一类新颖的推理负载形态，值得基础设施侧关注。
所属事件:开源 AI-SQL 引擎 Quail：单 H100 吞吐破 10 亿 token/分钟(21 条相关)→
「Infra」频道最新
- steipete 反驳成本论：能打的模型已降至 0.1 美元/百万 token — steipete · 2026-09-26
- e/acc 首领晒家庭推理集群:比跑车更潮的装备 — beffjezos · 2026-09-26
- 8B 模型跑在 2017 年老笔记本上:端侧智能时代悄然临近 — netherreddit · 2026-09-26
- 美国 AI 基建热超铁路公路电信之和,未来 6 年投资 10.3 万亿美元 — 141_1337 · 2026-09-26
- Oh My Pi 支持自定义模型后端:vLLM、llama.cpp、SGLang 接入 — bolts98 · 2026-09-26
- OpenRouter 推出缓存感知 Jev 路由器,为智能体请求自动选模型 — alexcovo_eth · 2026-09-26