Ai2 发布 Olmo-core 3 训练框架，MoE 模型可扩展至万亿参数
dl_weekly · x · 2026-10-13
艾伦人工智能研究所（Ai2）发布训练框架 Olmo-core 3，显著提升混合专家（MoE）大模型的训练效率。
要点：
- 专家池可从 8 个扩展至 128 个，每个 token 仍只激活 4 个专家；
- 同一套基础设施下支持训练超过 1 万亿参数的 MoE 模型；
- 在 Nvidia B3000 GPU 上，470 亿参数模型实测吞吐达每秒 5.2 万 token；
- 对比 Nvidia Megatron-core 等架构，降低了专家路由与跨 GPU 网络通信开销；
- Ai2 强调该框架弥合稠密模型与 MoE 模型之间的开发差距，在保持低成本的同时实现规模化训练。
「Infra」频道最新
- 扎克伯格：自建数据中心是财务优势，折旧完的 H100 反而更值钱 — BrentM_BuildGuy · 2026-10-13
- NVIDIA 提出 LoGRA：RL 训练显存省 45.7%，比 LoRA 还低 — omarsar0 · 2026-10-13
- 从零造 GPU 编译器：PyTorch 到 CUDA 的六级 IR 降级全解析 — NoVibeCoding · 2026-10-13
- Neocloud 整合地图：物理资产与平台深度是两条独立路线 — AccBalanced · 2026-10-13
- 算力能像石油一样交易吗？GPU 租赁指数给出最新行情 — AccBalanced · 2026-10-13
- Liquid Inference 上线数日：服务约 20 亿 tokens，缓存命中率 88% — AccBalanced · 2026-10-13