DeepSeek v4 PRO Q2 实测:VRAM/RAM 混合推理达 45 t/s
antirez · x · 2026-08-17
antirez 展示了在 DGX Station 上运行 DeepSeek v4 PRO Q2 模型的优化成果。通过将路由专家模型拆分至 VRAM 和 RAM,并针对该特定配置优化内核,实现了 45 t/s 的推理速度,并预计未来可以更快。作者称这证明了 DwarfStar 作为工作站推理引擎的潜力。
所属事件:Redis作者优化DeepSeek V4推理速度达45 t/s(3 条相关)→
「Infra」频道最新
- Artificial Analysis 首测 Vera Rubin NVL72:每兆瓦吞吐最高达 GB300 的 5.7 倍 — ArtificialAnlys · 2026-10-16
- Vera Rubin NVL72 实测:每兆瓦吞吐最高达 GB300 的 5.7 倍 — ArtificialAnlys · 2026-10-16
- 英伟达 Vera Rubin NVL72 首批实测:每兆瓦吞吐最高达 GB300 的 5.7 倍 — ArtificialAnlys · 2026-10-16
- Turing Post 盘点 2026 年 14 款开源 LLM 可观测性工具 — TheTuringPost · 2026-10-16
- 本地 AI 不是隐私功能而是路由问题:任务该跑在笔记本、内网还是云端 — bigdata · 2026-10-16
- 把 Agent 工作从 GPU 挪回 CPU,让动作更持久可预测 — cramforce · 2026-10-16