DeepSeek-V4.1-Flash 跑上 Vera Rubin:agent 自主搞定跨机 Engram 表共享
woosuk_k · x · 2026-11-17
工程师 @liujuntian 分享在 NVIDIA Vera Rubin 上优化 DeepSeek-V4.1-Flash 的经历:off-peak 价格下每芯片小时 $117.89,单用户吞吐约 200 tok/s。
亮点是 agent 驱动的优化流程:随着吞吐上升,重复的 Engram 表占用 KV cache 内存导致 prefix cache 命中率下降。作者把问题交给 AI agent,agent 自己想出通过 NVLink 对称内存在整机架 GPU HBM 间共享 Engram 表的方案,查找开销还更低——在全新硬件上仅需少量人工提示就完成了发现、实现与上线。作者感叹 agent 在全新硬件上也能自主完成优化闭环。
「编程与Agent」频道最新
- 开源模型如何胜任长程 Agent 工作负载:一场技术演讲分享 — zainhas · 2026-11-17
- 博主:token 供给充足让 agent 一口气跑通视频制作全流程 — yihui_indie · 2026-11-17
- Anthropic 工程师发布 24 分钟视频,演示 Claude Code 多项冷门功能 — goyalshaliniuk · 2026-11-17
- 开源 agent-browser 发布:让 AI 智能体操作浏览器与桌面并自查成果 — evilrabbit_ · 2026-11-17
- Ripple-65B 首场黑客松:模型从零自建 IDE,补全延迟低于 80ms — Azaliamirh · 2026-11-17
- LM Studio 推出 Agent Remote Control,可跨设备远程运行本地 agent — MatthewBerman · 2026-11-17