vLLM发布AgentX实测：服务成本较Opus 5 API低最多106倍
vllm_project · x · 2026-09-09
vLLM 团队联合 Inferact 发布长文，系统讲解如何针对真实 Agent 工作负载优化推理服务栈。要点：
- 背景：Agent 流量已成 vLLM 主要来源。多轮会话、长上下文和大量前缀复用，对 KV cache 管理、并行策略和引擎优化提出全新要求。2026 年 6 月 OpenAI 数据显示，企业客户中 Codex 已占 Codex+ChatGPT 输出 token 的 64%。
- 成绩：在 SemiAnalysis 的公开 AgentX 基准上，vLLM 在 DeepSeek V4 Pro 上达到 130K tokens/GPU·秒，在 MiniMax M3 上交互性达 376 tokens/s；对比 Opus 5 API 定价，DeepSeek V4 Pro、MiniMax M3、Kimi K3 三模型的服务成本优势为 14.6×–106×。
- 踩坑经验：流水线并行适合冷启动长 prompt，但在只追加几百 token 的热 Agent 轮次中，流水线气泡会吃掉收益；Decode 上下文并行在 Kimi K3 上有效但在 DeepSeek V4 上只与 DEP 打平——并行策略必须跟随模型注意力结构；负载均衡并不总是胜过简单的会话粘性路由。
- 所有数据均在公开 dashboard 上可复现，覆盖 GB300 NVL72 与 B300，配置公开。
所属事件:vLLM 发布 AgentX 全栈优化：成本较 Opus 5 低 106 倍(7 条相关)→
「Infra」频道最新
- AWS 教程:SageMaker SDK v3 搭建车队级边缘视觉模型流水线 — AWS ML Blog · 2026-10-27
- Embedl 把 Qwen3.8-27B 压进 Jetson Thor:解码 40 tok/s,精度反超 FP16 — No-Dragonfly6246 · 2026-10-27
- Celesto 推出便宜近 90% 的 CI Runner，兼做 Agent 云电脑 — aniketmaurya · 2026-10-27
- Supabase 联创谈 AI 时代后端：为十亿个 AI 生成应用而设计 — Latent Space · 2026-10-27
- AW-0 单卡 RTX 5090 推理 230ms:联合去噪比自回归代码快 2.4 倍 — trevordarrell · 2026-10-27
- 全美市议会话题追踪网站：数据中心热度仅次于匹克球场 — zakkohane · 2026-10-27