Qwen 训练细节：全网络使用 Muon 及 TP 均衡策略
nrehiew_ · x · 2026-08-27
报告披露了训练中的多项细节：
- 在网络中全程使用 Muon 优化器，Router 和 GR 投影使用 AdamW 保持稳定，Ngram 表使用不带权重衰减的 Adam。
- 实施了 per head 正交化。
- 采用张量并行（TP）训练，设计了参数分配器在各 rank 间平衡算力，并通过 all-to-all 通信交换数据。
所属事件:Qwen 披露训练细节：全程 Muon 优化器与残差流设计(5 条相关)→
「Infra」频道最新
- AWS 与 NVIDIA 扩大合作:追加部署 200 万块 GPU 至 2027-2028 年 — rohanpaul_ai · 2026-08-27
- AWS 扩容英伟达 GPU 路线图，新增 200 万颗定档 2027-2028 — rohanpaul_ai · 2026-08-27
- 分析英伟达策略：是回购股票还是重仓 HBM — toptickcrypto · 2026-08-27
- TokenSpeed 首日支持 Qwen 3.8 Flash Next — Alibaba_Qwen · 2026-08-27
- Z.ai 日用万亿 Token，国产算力或已具备训练能力 — SumitGup · 2026-08-27
- DLSS 4.5 发布：二代联合降噪超分模型，同算力画质显著提升 — ctnzr · 2026-08-27