Ai2 开源 Olmo-core 3：支撑下一代 OLMo 冲击万亿参数的 MoE 训练底座
allen_ai · x · 2026-10-01
Allen Institute for AI（Ai2）发布并开源 Olmo-core 3，这是支撑下一代 OLMo 模型的核心训练系统，目标扩展到万亿参数级别，专为大规模 MoE（混合专家）模型训练设计。
- 代码已在 GitHub 开源（PyTorch 组件库，1.6k stars），可 pip 安装（ai2-olmo-core）。
- 集成 flash-attn、ring-flash-attn、TransformerEngine 等注意力后端，支持 Liger-Kernel 低显存 fused-linear loss、torchao float8 训练与 groupedgemm 实现 dropless MoE。
所属事件:Ai2 开源 Olmo-core 3，剑指万亿参数 MoE 训练(3 条相关)→
「Infra」频道最新
- 推荐一份 GPU 编程内部原理的宝藏学习资源 — goyal__pramod · 2026-10-02
- Gradium 发布最快 TTS:首段音频延迟仅约 50ms — mattturck · 2026-10-02
- 工程师观察:Gemini 4 Argon 正被用于跨数据中心集群优化 — rakyll · 2026-10-02
- Aleph Alpha 公开 MoE 预训练心得:16 到 512 块 B200 近线性扩展 — CatAstro_Piyush · 2026-10-02
- HBM 将吞下 22% DRAM 晶圆,内存成 AI 算力的最短板 — aronchick · 2026-10-02
- 视频解析:Google 的 AI 芯片能否击败 Nvidia? — Ill_Vegetable169 · 2026-10-02