DeepSeek-V4-Pro 在 Ascend 910C 训练中暴露长尾算子瓶颈
teortaxesTex · x · 2026-07-23
这条帖子指向一篇关于 DeepSeek-V4-Pro 在华为 Ascend 910C 上训练 的内容，并顺带吐槽：还是没有说明 950 的情况。配图是训练剖析表，列出了在 Ascend 上训练时最主要的算子瓶颈和利用率数据。
图里能读出的重点
- 头部瓶颈包括 SparseAttnSharedkvGrad、MatMulV3、GroupedMatmul（MoE experts）。
- 文中强调存在一条很长的 碎片化、内存受限 kernel 长尾。
- 单个小 kernel 很短，但合起来会占掉相当可观的总计算时间。
这意味着什么
- 这是对 Ascend NPU 训练效率瓶颈的具体剖析，不只是泛泛而谈。
- 它说明除了大矩阵乘之外，很多小型内存受限算子同样会拖累整体利用率。
「Infra」频道最新
- Anthropic S-1:每 1 美元收入烧 48 美分算力成本 — nmasc_ · 2026-10-26
- Persistent AI 入驻 UR 网络，隐私推理流量全程加密 — 0xSammy · 2026-10-26
- Anthropic 算力承诺曝光：Google 至少 1145 亿美元居首 — BenBajarin · 2026-10-26
- SpaceX 与 Apollo 达成 400 亿美元 AI 芯片与数据中心硬件租赁协议 — Polymarket · 2026-10-26
- Diamandis 盘点：SpaceX AI 业务年增 830%，Claude 64 小时设计 31.8 万抗毒蛋白 — PeterDiamandis · 2026-10-26
- Meta 拟发售至多 950 亿美元股票为 AI 基建输血 — The Decoder · 2026-10-26