vLLM 三周将 DeepSeek-V4.1-Flash 吞吐提升 5.3 倍

vLLM 官方博客复盘 DeepSeek-V4.1-Flash 发布后三周的推理优化成果:低并发场景下加速 1.9 倍,在 150 TPS 约束下吞吐提升 5.3 倍,每美元可处理 13 亿 token。vLLM 团队祝贺 DeepSeek 发布 V4.1-Flash-1017,认为其更优的评测分数加上更短的输出,非常适合长 agent 循环场景,而逐步提速则交由推理服务侧完成优化。

2026-10-17 ~ 2026-10-17 · 2 条相关