DeepSeek-V4.1-Flash 跑上 Vera Rubin:agent 自主搞定跨机 Engram 表共享

woosuk_k · x · 2026-11-17

工程师 @liujuntian 分享在 NVIDIA Vera Rubin 上优化 DeepSeek-V4.1-Flash 的经历:off-peak 价格下每芯片小时 $117.89,单用户吞吐约 200 tok/s。

亮点是 agent 驱动的优化流程:随着吞吐上升,重复的 Engram 表占用 KV cache 内存导致 prefix cache 命中率下降。作者把问题交给 AI agent,agent 自己想出通过 NVLink 对称内存在整机架 GPU HBM 间共享 Engram 表的方案,查找开销还更低——在全新硬件上仅需少量人工提示就完成了发现、实现与上线。作者感叹 agent 在全新硬件上也能自主完成优化闭环。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →