Qwen 训练细节：全网络使用 Muon 及 TP 均衡策略
nrehiew_ · x · 2026-08-27
报告披露了训练中的多项细节：
- 在网络中全程使用 Muon 优化器，Router 和 GR 投影使用 AdamW 保持稳定，Ngram 表使用不带权重衰减的 Adam。
- 实施了 per head 正交化。
- 采用张量并行（TP）训练，设计了参数分配器在各 rank 间平衡算力，并通过 all-to-all 通信交换数据。
所属事件:Qwen 披露训练细节：Muon 优化器与残差流设计实测结论(5 条相关)→
「Infra」频道最新
- Bloomberg 算账:得州 AI 数据中心 1GW 场地建设成本失控 — rohanpaul_ai · 2026-10-15
- 系统设计面试必懂的 7 个分布式算法 — goyalshaliniuk · 2026-10-15
- 面壁 MiniCPM-V 4.7 端侧跑 35B 多模态,仅 3GB 内存、每 token 激活 3B — nevrekaraishwa2 · 2026-10-15
- Sipeed MaixStation 产品页上线，端侧 AI 开发套件来了 — xlltt · 2026-10-15
- 英伟达市值已超过印度整个股市 — theteknosaur · 2026-10-15
- 实测 Apple Silicon GEMM 性能:M6 矩阵单元 fp8 达 fp16 两倍,M5 不支持 — Brilliant-Hall1387 · 2026-10-15