vLLM 跑 AI-SQL 为何慢 27 倍：宿主开销叠加丢弃 5000 万 token 的 KV
sh_reya · x · 2026-09-25
作者分析用通用引擎 vLLM 跑 AI-SQL 的失败案例：某查询耗时 6.84 小时，而光速估算只要 15 分钟。原因有二：
- 宿主开销：大量 LLM 调用带来显著 host overhead。
- KV 丢弃：vLLM 丢弃了后续仍需要的 KV cache，导致重复处理 5000 万个额外 token。
结论：AI-SQL 是特殊负载——请求几乎全部可预先知晓、可提前规划 KV、只关心整条查询吞吐、且完全由 prefill 构成，与交互式推理场景不同，值得专用推理引擎，这正是 Quail 的立项动机。
「Infra」频道最新
- Starlink 美国城市用户增速 73% 反超农村，上传速度提升 42% — XFreeze · 2026-11-11
- Cloudflare 采用未经实战的共识算法 QuePaxa,替代 Raft/Paxos 建 Meerkat — sull · 2026-11-11
- 用 AI 扫遍全美废弃商场，改造成数据中心的脑洞 — LinusEkenstam · 2026-11-11
- Anthropic S-1 曝 260 亿美元私募：七大供应商按 IPO 价入股 — demian_ai · 2026-11-11
- SpaceXSI 1.2GW 燃气电厂获密西西比州环保许可,为 Colossus II 供能 — XFreeze · 2026-11-11
- Anthropic 称用 AI 3 天完成 AMD GPU 移植,动摇 Nvidia CUDA 护城河 — The Decoder · 2026-11-11