Quail 深度解析:自研调度器与 vLLM 内核如何炼成 1B token/分钟
sh_reya · x · 2026-09-25
- 对 Quail AI-SQL 引擎的技术拆解:团队把 vLLM 内部组件当库使用,但替换掉通用 serving 调度器,改用专为批量、高吞吐、prefill-only 的 AI filter/join 查询设计的定制调度器。
- 定制调度器实现了负载感知的 KV cache 管理;执行层中的 attention kernel 避免多条查询重复读取共享 KV,这是达到单 H100 每分钟 10 亿输入 token 的关键。
- 作者认为这预示着会涌现更多面向特定负载的定制推理调度器(类似 agent 工作流中带会话感知 KV TTL 的方案),并指出与 jev 等分类工作流的兴起时机吻合。
所属事件:UC Berkeley 团队联手 Modal 开源 AI-SQL 引擎 Quail(25 条相关)→
「编程与Agent」频道最新
- dots 更新支持 agent 同时控制 Windows 与 Mac 双机 — dkundel · 2026-11-12
- Granola 推出 Agent Briefs:每晚为 AI agent 打包你的最新上下文 — soleio · 2026-11-12
- 新基准 Continual-ARC:主流 Agent 均无法从经验中学习 — alifcoder · 2026-11-12
- KubeCon 前夕 Azure Day：AKS 单集群 65 节点跑 2.2 万个 Agent — davemccollough · 2026-11-12
- OpenShell 实用技巧:一条命令把沙箱内 Web 应用暴露到浏览器 — gethackteam · 2026-11-12
- 开发者打造「智能操作系统」：模型与智能体直接内建于 Linux 桌面系统 — NerdyRodent · 2026-11-12