Ai2 图解 512 块 GPU 如何协同训练一个大模型，还发现负载均衡评分会骗人

allen_ai · x · 2026-10-01

Ai2 为 Olmo-core 3 发布了配套技术报告和交互式讲解《How do 512 GPUs train one AI model?》，逐步拆解单卡计算与内存、数据并行、显存切分、专家并行等扩展技术，说明三类并行策略如何组合支撑大 MoE 模型训练。

报告还公开了实验中的发现与失败案例，包括『token gerrymandering』现象：负载均衡（load-balancing）分数可能在负载实际越来越不均衡时反而改善，说明该指标可能产生误导。讲解覆盖训练从随机权重起步、批处理切分、显存溢出与专家切分等全过程。