实测 DeepSeek-V4.1-Flash 推理吞吐：4 卡 RTX PRO 6000 三套基准横评
TheZachMueller · x · 2026-11-03
keennay 发布了一组推理服务器饱和点实测：在 4x RTX PRO 6000 GPU + Engram 卸载到 RAM 的配置上，对 DeepSeek-V4.1-Flash-1017 的 3 个 checkpoint 变体测吞吐。
- 使用三套基准工具交叉验证：llm-inference-bench、NVIDIA Dynamo AIPerf、SemiAnalysis AgentX。
- 对比开/关 DSpark、投机解码 draft token 最高 7 个的表现。
- 作者观点：与其纠结跑分和 token 价格，不如搞清楚自己的推理服务器在哪里饱和。
「Infra」频道最新
- Noah Goodman 团队发布「离谱地快」的权重同步功能 — gharik · 2026-11-03
- 高通首款高带宽计算芯片落地,AI250 硬件验证完成直指内存墙 — clattner_llvm · 2026-11-03
- 256GB M5 Max Studio 跑 DeepSeek-V4.1 量化版：100 tok/s 解码 — rez0__ · 2026-11-03
- 分布式推理采样暂停仅做解压与补丁，不超一秒 — gharik · 2026-11-03
- 谷歌把 4 颗 TPU 送入太空跑 Gemma 4:电力只够一次点亮一颗,每轮运行 20 分钟 — demian_ai · 2026-11-03
- Mistral 科学家 VP：仅用 10 兆瓦算力训出 Le Chonk，喊话给他 1GW — _AndrewZhao · 2026-11-03