Reflection AI 开源 Beam 1.0 技术报告:6144 块 GB300 训练 23.8T tokens
RobertTLange · x · 2026-11-07
Reflection AI 发布 Beam 1.0 的 156 页技术报告,完整公开训练配方:
- 预训练:23.8T tokens(13.7T 去重 × 1.73 epoch),在 6,144 块 GB300 上训练 21.9 天,MFU 21%
- 优化器:采用 AdamC 而非 AdamW/Muon,权重衰减 ∝ LR² → 0,峰值 LR 由拟合 law η ∝ N^−α·D^−0.32·B^0.5 得出
- 异步 RL:无 staleness bound(平均落后 5 个 policy 版本),在 ≤10.5K GB300 上跑了 1 亿+ rollouts
- 能力融合:Agentic 与 alignment experts 通过 full-vocab on-policy distillation 合并
- 稳定性技巧:深度缩放残差(1/√n)、σ-gated attention,最忙 MoE expert 最终仅 1.04× 均匀负载
架构为 52 层 MoE,240 亿 active 参数/490 亿总参数,256 experts top-8,门控 QK,context 512K。权重已在 Hugging Face 开源(Apache-2.0),并报告了对比 Nemotron 与 Olmo 3 的训练配置差异。
所属事件:Reflection AI 开源 Beam 并发布 156 页技术报告(8 条相关)→
「模型」频道最新
- 博主让 Claude 读自己的博客后,模型认错标量界定论证 — bremen79 · 2026-11-22
- 实测对比:Gemini 4 Neon 像素画最强,但成本慢到离谱 — Angaisb_ · 2026-11-22
- Inkling 2 Mini 去审查版 v2 发布:自我蒸馏后有用回答率从 52% 提至 79% — Turbulent-Sky5396 · 2026-11-22
- Looped Transformer 详解:Inkling 2 Mini 中间 12 层循环 3 次实现 48 层深度 — Prompt Engineering · 2026-11-22
- 上一代模型配对工具链反超下一代:KYNEX 在 ExtractBench 92.97 F1 胜 GPT-6 Astra — the-random-guy-2002 · 2026-11-22
- 研究者称用 Gemini 在纳米光学领域做出有望冲 Nature 的发现 — xennygrimmato_ · 2026-11-22