vLLM 跑 AI-SQL 查询耗时 6.84 小时，理论极限仅 15 分钟
sh_reya · x · 2026-09-25
Quail 团队披露的对比数据：把 AI-SQL 查询的所有 LLM 调用跑在手调 vLLM 基线上，多条查询出现大量 host 侧开销，且 vLLM 丢弃了后续还要用的 KV cache，导致额外处理了 5000 万 token。
最终一条查询耗时 6.84 小时，而光速估计显示理论上只需 15 分钟——差距约 27 倍，说明查询计划与推理调度必须协同设计，单纯调优推理引擎远远不够。
所属事件:UC Berkeley 团队联手 Modal 开源 AI-SQL 引擎 Quail(25 条相关)→
「Infra」频道最新
- 微软 SC26 将揭秘 Maia 加速器:日服务数万亿 token 的数据流设计 — thoefler · 2026-11-12
- ClickHouse 收购 Xata 并发布 Managed Postgres,客户超 5000 家 — CShorten30 · 2026-11-12
- 2026 中期选举 41 项数据中心公投 40 项倒向反 AI 建设方 — Acceptable-Offer-518 · 2026-11-12
- KubeCon 前夕 Azure Day：AKS 单集群 65 节点跑 2.2 万个 Agent — davemccollough · 2026-11-12
- CoRL 会场同址开天然气论坛,主题直指 AI 数据中心供电 — carlosdponx · 2026-11-12
- a16z 播客：Mike Volpi 从 Cisco 70+ 并购经验谈 AI 基建周期 — a16z · 2026-11-12