DeepSeek V4.1-Flash 昇腾 950DT 部署单卡解码达 5800 TPS,遭质疑实际吞吐偏低
teortaxesTex · x · 2026-10-04
- 开发者 Leroy Li 称,在 32 张华为昇腾 950DT 上用 FP8-FP4 混合精度部署 DeepSeek-V4.1-Flash:128K 长序列场景单卡解码吞吐达 5800 TPS(时延 13.79 ms);低时延场景时延控制在 5 ms 内、吞吐 2727 TPS。
- 网友 teortaxesTex 质疑该成绩并不亮眼:即便达到 72 TPS 这类数字,整体吞吐也仅为 DSpark 报告中 DeepSeek V4-Flash 单 GPU 成绩的三分之一,尽管已使用 TileLang 内核。他认为可能需要更大的部署单元,或等后续优化(如 npugraphex)才能改善。
「Infra」频道最新
- DeepMind 研究员估算:全球有效算力每年增长至少 10 倍 — 141_1337 · 2026-11-20
- GPU 短缺之辩:真有 AI 需求的公司仍在被算力饿死 — matt_slotnick · 2026-11-20
- 微软 Bing Web IQ 全面开放:Auto 编排多源检索,为 Agent 提供实时世界知识 — dejanseo · 2026-11-20
- exe.dev 发布 Rex 集成:远程 VM 正成为 agent 时代的主工作台 — davidcrawshaw · 2026-11-20
- 业内人士判断:CUDA 与 ISA 都不再是护城河,芯片创新潮将至 — IgorCarron · 2026-11-20
- MIT 与 NVIDIA 推出 QDA:用智能体自动设计量化方案,64 GPU 小时超越最强人工配方 — omarsar0 · 2026-11-20