实测 LLM 推理阶段分离：KV 缓存跨 GPU 搬运未必划算
burkov · x · 2026-10-14
LLM 推理服务需要在响应速度、吞吐和能耗之间权衡，一种方案是把「处理输入」和「生成输出」两个阶段拆到不同 GPU 上（disaggregated serving），以减少相互干扰并独立调优，但代价是要在 GPU 之间搬运大量 KV cache 中间数据。
文章对这种拆分方案做了实证检验：
- 基线是双 GPU 各自完整处理一半请求的传统部署
- 对比三种缓存传输方式：高速 GPU 互联链路、PCIe、磁盘
- 测试用两个语言模型、不同 batch size 的合成负载，硬件为单机双 NVIDIA A100
- 同时把传输开销和能耗成本计入，评估拆分是否仍有实际收益
核心结论是：阶段分离并非天然更优，其收益高度依赖传输方式与能耗开销，实际部署需按负载具体测算。
「Infra」频道最新
- Runner 实现直接在量化 GGUF 上训 LoRA,免 PyTorch 免 FP16 底模 — ZenZombie117 · 2026-10-14
- 观点：AI竞赛属于能把足够算力上线的人，Meta已靠堆算力追上 — haider1 · 2026-10-14
- GPU 自有化拐点：利用率超 33% 即跑赢混合云，66% 压过 neocloud — AccBalanced · 2026-10-14
- Koboldcpp v1.123 发布，新增 Qwen Image 2.1 支持 — Fcking_Chuck · 2026-10-14
- 推理生意火爆但黑箱:H100 每小时报价 $2.2 到 $8,利用率与毛利无人知晓 — AccBalanced · 2026-10-14
- Hugging Face 推出 Kernel Hub,让计算内核像模型一样分发 — ariG23498 · 2026-10-14