双卡 RTX 6000 实测 DeepSeek：投机解码跑出 243 tok/s
TheZachMueller · x · 2026-08-02
开发者在 2× RTX PRO 6000 Blackwell 上实测了 DeepSeek-V4-Flash-0731 模型结合 DSpark 投机解码的推理性能。
- 核心成绩：单流吞吐量中位数达 243 tok/s，是不使用投机解码基线的 3.1 倍；聚合吞吐量在 c2 和 c4 并发下分别达 299 和 403 tok/s。
- 稳定性：草稿接受率为 74-76%，在 3 小时的混合负载压力测试中稳定保持在 237-245 tok/s。
- 瓶颈分析：未遇到预期的 SM120 kernel 瓶颈，但发现当 maxnumseqs > 4 时会因 prefill chunk 大小硬编码导致空切片输入而报错。将其限制为 4 后系统运行完美，作者已将其作为日常主力环境。
所属事件:DeepSeek V4 Flash 本地部署潮(26 条相关)→
「Infra」频道最新
- Google 将 2026 年资本开支上调至最高 2050 亿美元 — emmanuelvivier · 2026-10-16
- Google 开源 AX:像 Kubernetes 一样编排数十亿 Agent 任务 — thisdudelikesAI · 2026-10-16
- Valtz 新版支持 FLUX.3，Mac 本地生图最高 4K 分辨率 — TgoAI · 2026-10-16
- 百度开源 FlashMask：长上下文训练最高比 FlashAttention-4 快 1.55 倍 — BaiduResearch · 2026-10-16
- 独立开发者 GYRO 量化实测：体积更小却达 ISTA Q3 水平 — PlasticRevenue4601 · 2026-10-16
- RL 训练系统已成前沿建模最复杂的基建难题,_best_方案是商业机密 — brianryhuang · 2026-10-16