vLLM 三周把 DeepSeek-V4.1-Flash 吞吐拉高 5.3 倍，每美元 13 亿 token
woosuk_k · x · 2026-10-17
vLLM 官方博客复盘 DeepSeek-V4.1-Flash 发布后三周的推理优化：低并发下加速 1.9 倍，150 TPS 约束下吞吐提升 5.3 倍；在 SemiAnalysis AgentX 基准上达到 1.3B tokens/美元，单 GPU 830K tok/s（缓存+输入+输出，每用户 100 tok/s）。
优化分两类：
- SWA bounded replay + CUDA graphs，TTFT 降低约 30%；
- 内核优化：集成 DeepSeek 新内核（MegaAttention、Mega-mHC、Mega-Gate、DeepSelect），并对其余内核激进融合与并行化（mHC 侧流、all-reduce 融合为单内核）。
模型侧架构同样关键：V4.1 的因果编码器-解码器（CED）在解码时激活 16B 参数、预填仅 8B；CSA2 + FP4 KV cache + 跨层 KV 共享把全局 KV 占用压到每 token 890 字节。自发布日算起，agentic 吞吐已提升 5 倍。
「Infra」频道最新
- MOSS-Image 推出 INT8 量化版与 SFT 条带伪影修复 LoRA — tomByrer · 2026-10-17
- 在 C64、486 DOS 和任天堂 Wii 上跑语言模型的极客移植 — Awacer · 2026-10-17
- 买卡、租卡还是调 API?关键就看你的实际 GPU 利用率 — Dizzy_Lingonberry947 · 2026-10-17
- 开源工具 Underclass 池化多份 ChatGPT 订阅,绕开区域推理容量限制 — TheZachMueller · 2026-10-17
- 一文串起分布式 LLM 训练:6 种并行策略与通信/内存瓶颈全解 — techNmak · 2026-10-17
- 云真的到极限了：网友玩梗调侃数据中心争议 — gnukeith · 2026-10-17