KV 缓存远程读取竟比重算还慢:GLM-5.3 生产系统案例复盘
MultiverseComputingCAI · hf · 2026-10-16
Multiverse Computing 工程师 Muhammad Ibrahim 的论文（arXiv 2025-10-15）报告了一个生产环境反例：远程 KV 缓存复用假设「加载比重算便宜」，但在 GLM-5.3（FP8 MoE + MLA）的 8×B300 节点、CP8 上下文并行 prefill 部署中失效。
关键数据：
- 启用远程 KV 层（LMCache + Valkey）后中位 TTFT 不变，但 16k-token 的 p99 从 3.96s 暴涨到 17.3s
- 隔离引擎重放生产流量：一次远程命中耗时 0.88s，而重算 prompt 仅 0.31s；同步加载把高命中流变成不稳定队列，p99 达 83.32s 而 GPU 仅有 7% 忙碌
解决方案：按并行 rank 分片远程 KV store、异步加载，并配合高带宽检索，可恢复吞吐收益。论文用简单模型解释了何时远程层会失效以及如何修复。
「Infra」频道最新
- MiniCPM-V 4.7 上了手机:35B MoE 在 iPhone 上 3GB 内存跑出 13+ tokens/s — heyshrutimishra · 2026-10-16
- 个人 C++/Vulkan 推理引擎 LaForge 调优后 SD1.5 出图快 30-46 倍 — Ichidan256 · 2026-10-16
- 卖一张 5090 换四张 R9700：显存翻倍值不值 — poofph · 2026-10-16
- 32GB 内存+8GB 3070 跑 PolyStrata+ Cline，约 90 tok/s — rpwoerk · 2026-10-16
- TensorFold 1.0.12 发布：120B 视觉模型跑进 1-2 台 DGX Spark — HankYeomans · 2026-10-16
- vLLM 适配 NVIDIA RTX Spark PC，前沿模型可本地部署 — vllm_project · 2026-10-16