AI2 开源 Olmo-core 3:万亿参数级 MoE 训练栈,吞吐提升 2.7 倍
lmoroney · x · 2026-10-03
Allen Institute for AI 开源了 Olmo-core 3,一个面向最高万亿参数级 MoE 模型的 PyTorch 训练栈。
- 实验中把专家池从 8 个扩到 128 个,同时保持活跃参数约 32 亿,训练吞吐下降不到 5%。
- 在 8 张 B300 GPU 上,token 处理速度约为此前基于 FSDP 的 MoE 路径的 2.7 倍。
- 代码以 Apache-2.0 协议发布在 GitHub(allenai/OLMo-core),PyPI 包名为 ai2-olmo-core。
- 对学习 ML 系统的人是很好的公开案例:专家并行、路由成本、以及稀疏模型规模扩大时如何保持效率。
所属事件:Ai2 开源 Olmo-core 3 万亿参数 MoE 训练底座(5 条相关)→
「Infra」频道最新
- 谷歌宣布 Gemini 3.5 Flash 可在断网气隙环境运行 — shashib · 2026-11-16
- Gemma.c:单文件 C 实现 Gemma 1/2/3 多模态推理,纯 CPU 跑 72 tok/s — This-Purchase-3325 · 2026-11-16
- Sarvam 在印度上线 Token Factory 托管开源模型推理 — itsOmSarraf_ · 2026-11-16
- BIS 规则原文:封堵先进 AI 芯片的远程访问通道 — apples_jimmy · 2026-11-16
- 越狱PS4直连2013年GPU跑9B开源模型,速度达43 tokens/s — AIFlow_ML · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16