华为开源 505B 参数 MoE 模型 openPangu-2.0-Pro
langsfang · reddit · 2026-07-31
华为正式开源了盘古系列的新一代模型 openPangu-2.0-Pro。该模型基于昇腾算力训练，采用 Mixture-of-Experts (MoE) 架构，总参数量达 505B，激活参数为 18B，支持高达 512k 的上下文长度。
模型预训练总计使用了 34T tokens 的数据。在后训练阶段，openPangu-2.0-Pro 采用了统一 SFT（结合快慢思考能力）、多专家强化学习（RL）以及融合多专家的策略蒸馏等前沿技术。官方同步发布了详细的技术报告以供深入参考。
「模型」频道最新
- V4 Flash 跑分惊艳：0.28 美元价位斩获 Terminal Bench 82.7 分 — jiayuan_jy · 2026-07-31
- 吃梗现场：刚吹完 2 Spark 吊打 DeepSeek，隔夜就被打脸 — TheZachMueller · 2026-07-31
- Kimi K3 架构解析：用「主动遗忘」打造 2.8 万亿参数开源模型 — AccBalanced · 2026-07-31
- 曝 MiniMax-H3 开源权重将于 8 月 3 日发布 — HugeConsideration211 · 2026-07-31
- 曝 Gemini V4-Flash 知识截止日期或晚于 2025 年 5 月 — teortaxesTex · 2026-07-31
- DeepSeek-V4-Flash正式版实测：速度极速，效果竟超 Pro — vista8 · 2026-07-31