DeepSeek-V4 在昇腾 SuperPOD 上后训练达 34.22% MFU
_akhaliq · x · 2026-07-23
SLAI T-Rex：DeepSeek-V4 家族在昇腾 SuperPOD 上的全参数后训练
这篇论文讲的是：如何在华为 Ascend SuperPOD 上，对 trillion 级参数的 MoE 模型做端到端后训练优化，重点解决大模型训练里最常见的系统瓶颈。
- 论文以 DeepSeek-V4 家族 为目标，系统性处理了 显存压力、通信开销、内核执行效率低 等问题。
- 作者搭建了一个分层优化框架，覆盖 模型并行、计算/通信编排、底层 kernel 执行。
- 在报告的系统上，优化后训练吞吐达到 34.22% MFU，相比开源 baseline 提升 2.93×，同时保持了训练稳定性。
- 基于这套基础设施，作者进一步建立了面向复杂推理/运筹优化任务的 CPT 和 SFT 数据与训练管线。
- 他们把这个整合框架称为 SLAI T-Rex，并用 DeepSeek-V4-Flash 构建了面向 OR 任务的数据管线，结合了收集来的领域资源和经过求解器验证的合成优化文档。
- 数据集包含 1 万 条高质量 SFT 样本，覆盖 4 类任务 和 3 种问题表示。
- 在评测中，模型拿到评测集上的最佳平均 zero-shot Pass@1，达到 71.81%，分别比 GPT-5.4-Mini 和基础版 DeepSeek-V4-Flash 高 3.98 和 11.27 个百分点。
所属事件:昇腾 SuperPOD 全栈优化实现 DeepSeek-V4 高效训练(3 条相关)→
「Infra」频道最新
- Ortet 自托管评测 34 个开源模型在 50 项健康基准上的表现 — kchonyc · 2026-10-27
- AWS 教程:SageMaker SDK v3 搭建车队级边缘视觉模型流水线 — AWS ML Blog · 2026-10-27
- Embedl 把 Qwen3.8-27B 压进 Jetson Thor:解码 40 tok/s,精度反超 FP16 — No-Dragonfly6246 · 2026-10-27
- Celesto 推出便宜近 90% 的 CI Runner，兼做 Agent 云电脑 — aniketmaurya · 2026-10-27
- Supabase 联创谈 AI 时代后端：为十亿个 AI 生成应用而设计 — Latent Space · 2026-10-27
- AW-0 单卡 RTX 5090 推理 230ms:联合去噪比自回归代码快 2.4 倍 — trevordarrell · 2026-10-27