Ai2 开源 Olmo-core 3:支撑下一代 OLMo 冲击万亿参数的 MoE 训练底座
allen_ai · x · 2026-10-01
Allen Institute for AI(Ai2)发布并开源 Olmo-core 3,这是支撑下一代 OLMo 模型的核心训练系统,目标扩展到万亿参数级别,专为大规模 MoE(混合专家)模型训练设计。
- 代码已在 GitHub 开源(PyTorch 组件库,1.6k stars),可 pip 安装(ai2-olmo-core)。
- 集成 flash-attn、ring-flash-attn、TransformerEngine 等注意力后端,支持 Liger-Kernel 低显存 fused-linear loss、torchao float8 训练与 groupedgemm 实现 dropless MoE。
所属事件:Ai2 开源 Olmo-core 3 万亿参数 MoE 训练底座(5 条相关)→
「Infra」频道最新
- 英伟达丑闻未完:黄仁勋的千亿美元权力网成焦点 — The Verge AI · 2026-11-16
- 芯片业铁律:出货量说了算,Intel 输在丢了需求 — TheKanter · 2026-11-16
- 台北101点亮「台湾❤️Jensen」,科技界集体声援黄仁勋 — liu_mingyu · 2026-11-16
- Nous 高管提醒:勿用 GPT 900k 变体,272k 后加收费用 — Teknium · 2026-11-16
- CUDA 矩阵乘法优化实战:从朴素实现干到 cuBLAS 93.7% 性能 — RisingSayak · 2026-11-16
- iPhone 上跑通 120B 模型:改 llama.cpp 从闪存流式加载 MoE 权重 — Chance-Resource-4970 · 2026-11-16