深度解析：如何训练3万亿参数模型
inductionheads · x · 2026-07-18
讨论了训练 3T（万亿）参数级别超大模型的技术现实与基础设施瓶颈。 - **参数规模非主要瓶颈**：能够训练 10T 参数级别模型的玩家比大众想象的要多，总参数量本身并非核心限制。 - **稀疏性与专家并行**：单纯堆叠专家数量无法创造商业价值。高利润率的高稀疏度模型是收回算力投资的关键。 - **物理硬件极限**：当模型参数突破 1T 时会触及基础设施的物理限制。例如 896 个专家的权重无法装入单个节点，即便推理时仅激活 16 个，也必须进行权重切分，从而不可避免地推高网络通信延迟。