开源 AI-SQL 引擎 Quail 单块 H100 跑出每分钟 10 亿 token
sh_reya · x · 2026-09-27
- CMU 助理教授 Shreya Shankar 与 Modal 的 Charles Frye 发布开源 AI-SQL 引擎 Quail（与 Modal 合作）。
- 核心思路：把查询规划器与 LLM 推理引擎联合调度，单条查询在一块 H100 上达到 10 亿+ 输入 token/分钟，号称比 vLLM 快 10 倍以上。
- AI-SQL 指在 SQL 中嵌入 AI 算子（如 AI.IF(PROMPT(...))），对全表逐行跑 prompt 过滤/分类；这类查询会生成数百万条、每条数千 token 的序列，但对智能要求低，小开源模型即可胜任，是不同于 coding agent/chatbot 的新推理工作负载（"无思考、单 token、低延迟"的高性价比区间）。
- Modal 博客长文（15 分钟阅读）还讨论了为什么需要高吞吐推理，以及推理工程的未来方向。
所属事件:开源 AI-SQL 引擎 Quail 单块 H100 实现每分钟 10 亿 token(2 条相关)→
「Infra」频道最新
- 哥伦比亚商学院报告:美国数据中心 182.7GW 需 3.7 万亿美元年收入支撑 — rohanpaul_ai · 2026-09-27
- 本地 LLM 前端 KoboldCpp 发布 v1.122 版本 — Fcking_Chuck · 2026-09-27
- 小分类器小到不用托管，手机上就能直接训练 — max_paperclips · 2026-09-27
- 9900 块 NVIDIA B300 GPU 十二月至二月陆续上线出租 — sdand · 2026-09-27
- 借力 FlashInfer 与 System R,agent 辅助快速打造专用推理引擎 — charles_irl · 2026-09-27
- 澳数据中心遭抵制,官员称「我们不是美国」,推进更严审批规则 — nordicinst · 2026-09-27