vLLM 实测 DeepSeek-V4.1-Flash：每美元可跑 13 亿 tokens
TheZachMueller · x · 2026-10-17
vLLM 团队祝贺 DeepSeek 发布 V4.1-Flash-1017，称其更好的评测分数加上更短的输出，非常适合长 agent 循环场景，而把每一步提速交给推理服务侧优化。
在 SemiAnalysis 的 AgentX 基准上，vLLM 服务 DeepSeek-V4.1-Flash 达到：
- 每美元 TCO 跑出 13 亿 tokens
- 单 GPU 吞吐 83 万 tok/s（含缓存+输入+输出），对应每用户 100 tok/s
- 自项目启动以来，agentic 吞吐已提升 5 倍
vLLM 预告「下一章」优化即将到来，并指出对尚未用上最新硬件的推理提供商来说，这种效率差距相当残酷。
所属事件:vLLM 三周将 DeepSeek-V4.1-Flash 吞吐提升 5.3 倍(2 条相关)→
「Infra」频道最新
- Sipeed 推 MaixStation 挑战 DGX Spark：128GB 内存 40W，价格差三倍 — AIFlow_ML · 2026-10-19
- ReaDy 用混合线性注意力循环状态做投机草稿，提升生成速度与接受率 — Bohan Sun · 2026-10-19
- TRELLIS.2 图生 3D 在 AMD RX 9060 XT 上跑通:修复、工作流与 MIT 替代组件 — ova-mojica · 2026-10-19
- CI 迎战 AI Agent 时代：Celesto 宣称每分钟成本比 GitHub Runner 低 96% — aniketmaurya · 2026-10-19
- 华为发布 Atlas 960E 超节点：NPO 光互联连接 4096 颗 NPU — bookwormengr · 2026-10-19
- 机器人「大脑」推理成本三个月暴跌 84%，硬件成唯一大头 — victor_explore · 2026-10-19