Ai2 开源 Olmo-core 3，剑指万亿参数 MoE 训练

Allen Institute for AI 发布并开源 Olmo-core 3，作为下一代 OLMO 模型的核心训练系统，专为大规模 MoE 训练设计，目标扩展至万亿参数级别。该框架将专家数扩展到 128 个时吞吐仅下降 5%，保持了计算效率。Ai2 还发布配套技术报告和交互式讲解《512 块 GPU 如何训练一个大模型》，逐步拆解数据并行、显存管理等机制，并发现负载均衡评分存在误导性。

2026-10-01 ~ 2026-10-01 · 3 条相关

• Ai2 开源 Olmo-core 3：支撑下一代 OLMo 冲击万亿参数的 MoE 训练底座 — allen_ai · 2026-10-01
• Ai2 图解 512 块 GPU 如何协同训练一个大模型，还发现负载均衡评分会骗人 — allen_ai · 2026-10-01
• Ai2 发布 Olmo-core 3：开源 MoE 训练框架，专家扩至 128 个吞吐仅降 5% — allen_ai · 2026-10-01