估算 MoE 的 MFU：比稠密版约低 20%
eliebakouch · x · 2026-07-07
eliebakouch 在讨论 MoE 模型的算力估算时给出经验值：MoE 的 MFU（模型算力利用率）大约比同等规模的稠密（dense）版本低 20% 左右。这是做训练成本与算力规划时的常用假设。
eliebakouch · x · 2026-07-07
eliebakouch 在讨论 MoE 模型的算力估算时给出经验值：MoE 的 MFU（模型算力利用率）大约比同等规模的稠密（dense）版本低 20% 左右。这是做训练成本与算力规划时的常用假设。