DeepSeek-V4.1-Flash 在 Vera Rubin 上跑出 63 倍吞吐,AI agent 参与优化
woosuk_k · x · 2026-11-17
vLLM 团队公布 DeepSeek-V4.1-Flash 在 NVIDIA Vera Rubin NVL72 上的首批结果,基于 Dynamo + vLLM 与 SemiAnalysis 的 AgentX benchmark。相比 GB300 NVL72 运行同套栈,每芯片总 token 吞吐在 400 tok/s/user 下提升 63.4 倍,600 tok/s/user 下提升 93.3 倍。
优化者 @liujuntian 提到,随吞吐提升,前缀缓存命中率下降,原因是重复的 Engram 表挤占了 KV cache 内存。他让 AI agent 去解决,agent 通过 NVLink 对称内存把 Engram 表在整机架 GPU HBM 间共享,查找开销反而更低。作者称 agent 只需少量人类提示就能在全新硬件上发现、实现并交付优化。
所属事件:vLLM 公布 DeepSeek V4.1 Flash 上 Vera Rubin 首批成绩(3 条相关)→
「编程与Agent」频道最新
- Boring Marketer 开源 32 个营销 Agent Skills,并推出「前置部署营销」服务 — boringmarketer · 2026-11-17
- pybot 实验复盘将发布:chrisalbon 盛赞 lvwerra 是英雄 — chrisalbon · 2026-11-17
- 2031 年开公司梗图:一场会议九个 Claude 各管一摊 — andrew_n_carr · 2026-11-17
- Perplexity 将把 Slack 机器人 Computer 升级为常驻 AI 队友 — AravSrinivas · 2026-11-17
- 一张图分清语音 AI 四种架构:S2S、级联、半双工与全双工 — rdesh26 · 2026-11-17
- Subagent 有害论:摘要开局丢上下文,fork 比总结更靠谱 — rseroter · 2026-11-17