华为开源 505B 参数 MoE 模型 openPangu-2.0-Pro

zephyr_z9 · x · 2026-07-31

华为旗舰级开源权重模型 openPangu-2.0-Pro 已上线 Hugging Face。该模型总参数量达 505B,每 token 激活参数为 18B,支持 512K 上下文,并在约 34T tokens 的数据上完成训练。

最核心的看点不在于跑分,而是该模型完全基于华为昇腾(Ascend)NPU 训练。这证明了在英伟达生态之外,依然可以端到端地完成前沿级 MoE 模型的训练。

所属事件:华为开源 505B 参数盘古 MoE 模型(3 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →