vLLM 发布 AgentX 智能体服务优化：吞吐达 Opus 5 方案的 106 倍成本优势
vllm_project · x · 2026-09-09
vLLM 联合 SemiAnalysis 的公开智能体基准 AgentX 发布长文，系统讲解针对真实智能体负载的全栈推理优化。
智能体流量画像（来自真实编码 agent 轨迹）：会话中位数 43 轮；输入中位数 142K token，输出仅 444 token；前缀缓存命中率超 96%；44% 的会话会派生子 agent——长前缀、短输出、高频复用。
关键优化成果：
- KV cache：为 DeepSeek V4 设计的 packed KV 布局节省约 10% KV 显存，并将每 block 的 92 个张量合并为 1 个。
- 并行策略跟随模型结构：Decode context parallelism 让 Kimi K3 在相同 TPOT 下解码吞吐提升 2.7 倍；prefill context parallelism 让 DeepSeek V4 的稀疏 MLA 比头分片快 2.65 倍。
- 调度：仅通过限制 prefill 打破队头阻塞，TPGS 提升 93%，p90 交互性改善约 2.3 倍。
- 经验教训：pipeline parallelism 适合冷长 prompt，warm agent 轮次中气泡会吃掉收益；短间隔负载下保持 warm KV cache 的会话粘性路由可能优于负载均衡。
成本对比：DeepSeek V4 Pro 在 p90 每用户 50+ tok/s 的严格 SLO 下维持 83K tokens/GPU-秒，峰值达 130K；同等负载与缓存命中率下，用 Opus 5 服务成本高出 106 倍——说明开源权重模型在针对性调优的推理栈上有巨大空间。
所属事件:vLLM 发布 AgentX 全栈优化：成本较 Opus 5 低 106 倍(7 条相关)→
「编程与Agent」频道最新
- Claude Code 用法心得：max 档做规划，xhigh 档做实现 — majidmanzarpour · 2026-10-27
- Chrome 团队详解 WebMCP：不是取代 MCP，而是让网站直接向 agent 提供工具 — rseroter · 2026-10-27
- Agent 绕过 UI 就能改已审批报销单?Agent-Native 框架要堵这个洞 — rseroter · 2026-10-27
- 开发者晒 AI 编码智能栈：人定方向 Opus 写码 Astra 审查，人类只做审阅 — sh_reya · 2026-10-27
- Baseten 网络课：用自有合并 PR 建 benchmark,按每成功任务成本评估开源模型 — baseten · 2026-10-27
- Thorsten Ball 谈 Agent 工作法：多用评测、多上自动化、放手让 Agent 干 — omarsar0 · 2026-10-27