Ai2 发布 Olmo-core 3:开源 MoE 训练框架,专家扩至 128 个吞吐仅降 5%
allen_ai · x · 2026-10-01
Ai2 发布 Olmo-core 3,重新设计的开源 MoE 训练系统,目标把 MoE 训练扩展到万亿参数级,同时保持计算效率。它是下一代 Olmo 的核心训练基础设施,延续 Ai2 开放全部训练工具与基础设施的承诺。
关键点:
- 基准:专家池从 8 扩到 128(每 token 仍只选 4 个专家,活跃参数保持在约 3.2B),总参数容量从 4.6B 增至 47B,训练吞吐下降不到 5%;同一套基础设施已验证超过 1 万亿总参数
- MoE 的核心难题:路由与专家协调带来的通信开销会侵蚀「每 token 只用部分参数」的效率优势,Olmo-core 3 针对此设计
- 配套 tech report 公开实验、发现与失败案例,包括「token gerrymandering」:负载均衡分数在负载更不均衡时反而可能变好
所属事件:Ai2 开源 Olmo-core 3 万亿参数 MoE 训练底座(5 条相关)→
「Infra」频道最新
- 印度 Sarvam 推出 Token Factory:在本土托管全套开源模型推理 — HarveenChadha · 2026-11-16
- 谷歌宣布 Gemini 3.5 Flash 可在断网气隙环境运行 — shashib · 2026-11-16
- Gemma.c:单文件 C 实现 Gemma 1/2/3 多模态推理,纯 CPU 跑 72 tok/s — This-Purchase-3325 · 2026-11-16
- BIS 规则原文:封堵先进 AI 芯片的远程访问通道 — apples_jimmy · 2026-11-16
- 越狱PS4直连2013年GPU跑9B开源模型,速度达43 tokens/s — AIFlow_ML · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16