Quail 深度解析:自研调度器与 vLLM 内核如何炼成 1B token/分钟
sh_reya · x · 2026-09-25
- 对 Quail AI-SQL 引擎的技术拆解:团队把 vLLM 内部组件当库使用,但替换掉通用 serving 调度器,改用专为批量、高吞吐、prefill-only 的 AI filter/join 查询设计的定制调度器。
- 定制调度器实现了负载感知的 KV cache 管理;执行层中的 attention kernel 避免多条查询重复读取共享 KV,这是达到单 H100 每分钟 10 亿输入 token 的关键。
- 作者认为这预示着会涌现更多面向特定负载的定制推理调度器(类似 agent 工作流中带会话感知 KV TTL 的方案),并指出与 jev 等分类工作流的兴起时机吻合。
所属事件:UC Berkeley 开源 AI-SQL 引擎 Quail：单 H100 每分钟跑 10 亿+ token(14 条相关)→
「编程与Agent」频道最新
- GitHub 重构 Copilot app,搞定百万行、2200 文件的巨型 PR 渲染 — mariorod1 · 2026-09-25
- Replit 推出 Airwallex 连接器，5000 万开发者可一键接入支付 — amasad · 2026-09-25
- Opus 5.5 一条提示词复刻 Minecraft：1 小时约 20 美元搞定 — amasad · 2026-09-25
- Dan Shipper 演讲：如何在快速演进的前沿模型上构建产品 — danshipper · 2026-09-25
- 用户盛赞 Opus 5.5 编码能力:最大跨度提升,连 Codex 都不打开了 — BLUECOW009 · 2026-09-25
- 从零构建 Agent 新思路:大模型写作、Jev 决策、代码兜底 — blaizedsouza · 2026-09-25