vLLM 优化后 DeepSeek V4 Pro 推理成本仅 Opus 5 的 1/106
woosuk_k · x · 2026-09-09
- vLLM 官方发布博客《vLLM x AgentX: Optimizing for Real-World Agentic Serving》：agent 流量同时压迫服务栈的每一层，文章完整讲解在 SemiAnalysis 公开的 AgentX agentic 基准上对 vLLM 的全栈优化，覆盖架构、框架与运行时层面。
- 结论：同一 AgentX 负载下，DeepSeek V4 Pro 跑在 vLLM 上可比 Opus 5 便宜最多 106 倍。所有优化已在 vLLM 开源，博客同时写清了哪些优化有效、哪些无效。
- inferact 团队贡献了这批优化，邀请开发者在自己的 agent 上验证。
所属事件:vLLM 发布 AgentX 全栈优化：成本较 Opus 5 低 106 倍(7 条相关)→
「Infra」频道最新
- AWS 教程:SageMaker SDK v3 搭建车队级边缘视觉模型流水线 — AWS ML Blog · 2026-10-27
- Embedl 把 Qwen3.8-27B 压进 Jetson Thor:解码 40 tok/s,精度反超 FP16 — No-Dragonfly6246 · 2026-10-27
- Celesto 推出便宜近 90% 的 CI Runner，兼做 Agent 云电脑 — aniketmaurya · 2026-10-27
- Supabase 联创谈 AI 时代后端：为十亿个 AI 生成应用而设计 — Latent Space · 2026-10-27
- AW-0 单卡 RTX 5090 推理 230ms:联合去噪比自回归代码快 2.4 倍 — trevordarrell · 2026-10-27
- 全美市议会话题追踪网站：数据中心热度仅次于匹克球场 — zakkohane · 2026-10-27