LLM推理部署：有状态路由为何优于传统负载均衡
AccBalanced · x · 2026-07-20
探讨了在 LLM 推理服务中，传统无状态 L7 负载均衡为何会导致 GPU 效率低下，并指出有状态路由正在成为行业标准实践。
- 缓存冲突与延迟：轮询等传统路由会将同一用户的连续请求分散到不同 GPU，破坏 KV Cache 局部性，导致每次都需重新计算 prefill，大幅增加首字延迟（TTFT）。
- 成本惩罚：例如 OpenAI 对相同前缀提供 50% 的缓存折扣，路由不当会直接错失成本优化红利。
- 解决方案：头部团队正通过引入有状态路由架构，确保请求被精准调度至缓存节点，从而提升整体推理吞吐与效率。
「Infra」频道最新
- Tabul AI 推出 Metal TreeSHAP，加速 Apple silicon 上的 Shapley 计算 — Scobleizer · 2026-07-22
- DeepSeek-V4-Flash 单卡 B300 批量仅 770 tok/s — Moreh · 2026-07-22
- NVIDIA 开始交付 102.4 Tbps 的 Spectrum-6 交换机 — nvidia · 2026-07-22
- Apple 公布 Private Cloud Compute 的 SOC 3 审计报告 — throwfaraway4 · 2026-07-22
- Reddit：GPU 平台总让你在代码、恢复、计费里选两项 — legendpizzasenpai · 2026-07-22
- 智能体执行环境的安全基石：沙盒化宣言 — spirosoik · 2026-07-22