DeepSeek-V4-Flash 实测：4张 RTX PRO 6000 跑出 2100 tok/s
BanghuaZ · x · 2026-08-01
分享了疑似 DeepSeek-V4-Flash-0731 模型在 4 张 RTX PRO 6000 (SM120) 上的实测推理数据。
- 硬件与框架：基于 SGLang 框架与 DSpark 部署。
- 吞吐表现：单流约 200-225 tok/s；在 32 并发下聚合吞吐量约 2100 tok/s。
- 精度与修复：GSM8K 准确率达到 0.99。由于架构较新，需应用 3 行 FlashInfer 补丁（设置 topk=192）才能正常运行。
作者强调所有数据均经过实际测量且可复现。
所属事件:DeepSeek V4 Flash实测：低成本高性能引发社区热议(33 条相关)→
「Infra」频道最新
- 同样 1000 个 Cloudflare Durable Objects，月成本从 4050 美元压到 22 美元 — threepointone · 2026-10-16
- NVIDIA 发布 Qwen3.8-Flash FP4 量化版，主打本地部署 — nvidia · 2026-10-16
- 百度提出 Virtual Head Attention：同时压 KV cache、算力并保质量 — baidu · 2026-10-16
- DuoDiscover 让 Agent 自建快速评估代理，TPU 内核提速 2.68 倍 — berkeley_ai · 2026-10-16
- Google 将 2026 年资本开支上调至最高 2050 亿美元 — emmanuelvivier · 2026-10-16
- Google 开源 AX:像 Kubernetes 一样编排数十亿 Agent 任务 — thisdudelikesAI · 2026-10-16