昇腾 SuperPOD 上 DeepSeek-V4 后训练达 34.22% MFU
Dongfang Li · hf · 2026-07-23
这篇工作做了什么
这是一套在 昇腾 Ascend NPU SuperPOD 上对 DeepSeek-V4 家族进行全参数后训练的系统实践，重点解决万亿参数 MoE 模型后训练中的显存压力、通信开销和 kernel 效率问题。
- 论文提出了一个分层优化框架，覆盖 模型并行、计算-通信编排、底层 kernel 执行。
- 训练系统最终达到 34.22% MFU，相较开源 baseline 提升 2.93 倍，同时保持训练稳定。
- 在此基础上，作者还为复杂 运筹学（OR） 任务搭建了 CPT + SFT 流程，使用 solver 约束的合成数据。
- 相关专门模型在零样本评测中达到 71.81% Pass@1，比 GPT-5.4-Mini 高 3.98 个百分点，比基础版 DeepSeek-V4-Flash 高 11.27 个百分点。
所属事件:昇腾 SuperPOD 全栈优化实现 DeepSeek-V4 高效训练(3 条相关)→
「Infra」频道最新
- AWS 教程:SageMaker SDK v3 搭建车队级边缘视觉模型流水线 — AWS ML Blog · 2026-10-27
- Embedl 把 Qwen3.8-27B 压进 Jetson Thor:解码 40 tok/s,精度反超 FP16 — No-Dragonfly6246 · 2026-10-27
- Celesto 推出便宜近 90% 的 CI Runner，兼做 Agent 云电脑 — aniketmaurya · 2026-10-27
- Supabase 联创谈 AI 时代后端：为十亿个 AI 生成应用而设计 — Latent Space · 2026-10-27
- AW-0 单卡 RTX 5090 推理 230ms:联合去噪比自回归代码快 2.4 倍 — trevordarrell · 2026-10-27
- 全美市议会话题追踪网站：数据中心热度仅次于匹克球场 — zakkohane · 2026-10-27