传闻中国 10T 参数 MoE 模型需约 3 万 Blackwell GPU，稀疏性趋势分析

rohanpaul_ai · x · 2026-08-09

推文引用 @rohanpaulai 的分析：传闻中的中国 10T 总参数 MoE 模型可能需要约 3 万块 Blackwell GPU。但参数数量不是关键，MoE 训练成本取决于激活参数和 token 数。前沿模型的稀疏性正在降低：DeepSeek-V3 671B/37B（5.5%）、V4-Pro 1.6T/49B（3.1%）、Kimi K3 路由 16/896 专家。10T 模型激活参数约 200-500B，训练 15-40T tokens 需 2e25-1.2e26 FLOPs。字节跳动已租用 36,000 块 Blackwell GPU（500 个 GB200 机架，价值 25 亿美元），预训练窗口为 3-6 个月。