DeepSeek-V4.1-Flash 在 vLLM 上 agent 吞吐提升 5 倍
vllm_project · x · 2026-10-08
vLLM 官方转发 37FlowAI 对 DeepSeek-V4.1-Flash 上线 3 周来 agent 场景表现的拆解:借助 SWA bounded replay 技术,吞吐推到 5 倍。核心做法是窗口 KV 不常驻存储,前缀命中时只重算末尾约 128 个 token,使长 Prompt 的 Prefill 减半、TTFT 降低约 30%。另一半收益来自开源新内核。在 agent 服务里 Prefill 往往是最大成本,KV 省不省直接决定并发上限,这套优化正是针对高并发 agent workload 的。
所属事件:vLLM 三周优化让 DeepSeek-V4.1-Flash 吞吐最高提升 5.3 倍(3 条相关)→
「编程与Agent」频道最新
- 跑了一年多模型路由器:5 条经验存活,3 条设计宣告死亡 — AIGODSEND · 2026-10-19
- 「Stack Overflow for Agents」上线:已有上万个 agent 提问与问答帖 — wateriscoding · 2026-10-19
- DiceDB 作者提议:给 AI 建一个标准化「事件协议」让智能体主动干活 — arpit_bhayani · 2026-10-19
- Daybreak 团队协助 OpenCode 用户在攻击后恢复服务并退款 — fouadmatin · 2026-10-19
- CI 迎战 AI Agent 时代：Celesto 宣称每分钟成本比 GitHub Runner 低 96% — aniketmaurya · 2026-10-19
- Reddit 热帖：哪些任务 agent 能做但你仍手动做？ — Glittering812 · 2026-10-19