DeepSeek-V4.1-Flash 在 Vera Rubin 上跑出 63 倍吞吐,AI agent 参与优化

woosuk_k · x · 2026-11-17

vLLM 团队公布 DeepSeek-V4.1-Flash 在 NVIDIA Vera Rubin NVL72 上的首批结果,基于 Dynamo + vLLM 与 SemiAnalysis 的 AgentX benchmark。相比 GB300 NVL72 运行同套栈,每芯片总 token 吞吐在 400 tok/s/user 下提升 63.4 倍,600 tok/s/user 下提升 93.3 倍。

优化者 @liujuntian 提到,随吞吐提升,前缀缓存命中率下降,原因是重复的 Engram 表挤占了 KV cache 内存。他让 AI agent 去解决,agent 通过 NVLink 对称内存把 Engram 表在整机架 GPU HBM 间共享,查找开销反而更低。作者称 agent 只需少量人类提示就能在全新硬件上发现、实现并交付优化。

所属事件:vLLM 公布 DeepSeek V4.1 Flash 上 Vera Rubin 首批成绩(3 条相关)→

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →