vLLM 智能体优化细节：packed KV 省 10% 显存，Kimi K3 解码吞吐提升 2.7 倍
vllm_project · x · 2026-09-09
vLLM 智能体服务优化系列推文的第 4-6 部分，补充三项核心发现：
- KV cache 管理：为 DeepSeek V4 采用 packed KV 布局，节省约 10% KV 显存，每 block 的 92 个张量精简为 1 个。
- 并行策略跟随模型：Decode context parallelism 让 Kimi K3 在相同 TPOT 下解码吞吐达 2.7 倍；prefill context parallelism 使 DeepSeek V4 的稀疏 MLA 比 head sharding 快 2.65 倍。
- 简单调度也有效：仅限制 prefill 即可打破队头阻塞，TPGS 提升 93%，p90 交互性改善约 2.3 倍。
智能体流量画像：会话中位 43 轮，输入中位 142K token、输出仅 444 token，前缀缓存命中率超 96%，44% 会话派生子 agent。
所属事件:vLLM 发布 AgentX 全栈优化：成本较 Opus 5 低 106 倍(7 条相关)→
「编程与Agent」频道最新
- Claude Code 用法心得：max 档做规划，xhigh 档做实现 — majidmanzarpour · 2026-10-27
- Chrome 团队详解 WebMCP：不是取代 MCP，而是让网站直接向 agent 提供工具 — rseroter · 2026-10-27
- Agent 绕过 UI 就能改已审批报销单?Agent-Native 框架要堵这个洞 — rseroter · 2026-10-27
- 开发者晒 AI 编码智能栈：人定方向 Opus 写码 Astra 审查，人类只做审阅 — sh_reya · 2026-10-27
- Baseten 网络课：用自有合并 PR 建 benchmark,按每成功任务成本评估开源模型 — baseten · 2026-10-27
- Thorsten Ball 谈 Agent 工作法：多用评测、多上自动化、放手让 Agent 干 — omarsar0 · 2026-10-27