华为开源 505B 参数 MoE 模型 openPangu-2.0-Pro
langsfang · reddit · 2026-07-31
华为正式开源了盘古系列的新一代模型 openPangu-2.0-Pro。该模型基于昇腾算力训练，采用 Mixture-of-Experts (MoE) 架构，总参数量达 505B，激活参数为 18B，支持高达 512k 的上下文长度。
模型预训练总计使用了 34T tokens 的数据。在后训练阶段，openPangu-2.0-Pro 采用了统一 SFT（结合快慢思考能力）、多专家强化学习（RL）以及融合多专家的策略蒸馏等前沿技术。官方同步发布了详细的技术报告以供深入参考。
所属事件:华为开源 505B 参数盘古 MoE 模型(3 条相关)→
「模型」频道最新
- Google 削减权益：Google Plus 订阅的 Pro 模型额度也被限制 — EmergencyLess8861 · 2026-10-16
- Meta 发布 Muse Spark Open,vLLM 支撑训练期 RL 推理并首日适配 — colinmcnamara · 2026-10-16
- Meta 开源 Muse Spark Open：两台 Mac Studio 就能跑，许可证禁止冒充人类创作 — mawcopolow · 2026-10-16
- 2024 年 Golden Gate Claude 视频再流行:可解释性 premise 至今仍成立 — HarperSCarroll · 2026-10-16
- Hugging Face 直播发布全新开源权重模型 — huggingface · 2026-10-16
- 阶跃 Step 5 Preview 上线一周冲上 OpenRouter 周榜第二，用量 19.5T tokens — StepFun_ai · 2026-10-16