Reflection AI 开源 Beam 并发布 156 页技术报告
Reflection AI 于 11 月 7 日发布并开源 Beam 模型权重,同时公开 156 页技术报告及安全报告,完整披露团队在公司内部端到端自主训练该模型的流程,成为了解前沿实验室训练方法论的一手公开资料。CEO Misha Laskin 转发时称报告覆盖大量 Beam 训练细节。
已确认
- 模型规格:Beam 为稀疏 MoE 架构,总参数 501.3B、激活 23.4B,专为编码、推理与 agent 工作负载优化,推理算力低于同规模模型。
- 预训练规模:据 RobertTLange 转述,预训练数据量为 23.8T tokens(13.7T 去重 tokens × 1.73 epoch),在 6,144 块 GB300 上训练约 21.9(单位以报告原文为准)。
- 报告覆盖范围:据 brandondamos 转述,报告覆盖预训练、中期训练、SFT、强化学习到 OPD 全部阶段,并详述各阶段的基础设施、数据与科研决策;团队称「我们的系统足够好,值得一读」。
- 工程细节:据 brandondamos 转述,报告中提到换用 cuDNN RMSNorm 带来约 10% 的速度提升。
- 训练科学:据 brandondamos 转述,报告还包含对优化器、训练动力学与超参数迁移(hyperparameter transfer)的讨论。
- 技术报告已在 Reflection AI 官网公开,长度超过 150 页(多数转述为 156 页)。
为什么重要
- 前沿实验室通常对训练细节保密,Reflection 将从数据、infra 到训练科学决策的全流程公开,对研究社区是稀缺的一手参考,这种全流程公开在非头部实验室中尤为罕见。
- 模型权重同步开源,配合详尽报告,便于社区复现与在编码、agent 场景中二次开发。
2026-11-07 ~ 2026-11-08 · 8 条相关
一手来源
- Reflection AI 公开 Beam 模型技术报告:全流程端到端自研 — reflection_ai ·
- Reflection AI 开源 Beam 1.0 技术报告:6144 块 GB300 训练 23.8T tokens — RobertTLange ·
- Reflection 开源 Beam:501B 参数 MoE,附 156 页技术报告 — _dsevero ·
- 【源头】Reflection AI 公开 Beam 模型技术报告:全流程端到端自研 — reflection_ai · 2026-11-07
- 【源头】Reflection 开源 Beam:501B 参数 MoE,附 156 页技术报告 — _dsevero · 2026-11-07
- Reflection AI 发布 150+ 页 Beam 模型技术报告 — _AndrewZhao · 2026-11-07
- Beam 报告还讲了超参迁移:Reflection 团队邀读者深读训练动力学章节 — brandondamos · 2026-11-07
- Reflection 156页 Beam 技术报告曝光:换用 cuDNN RMSNorm 提速10% — brandondamos · 2026-11-07
- 【源头】Reflection AI 开源 Beam 1.0 技术报告:6144 块 GB300 训练 23.8T tokens — RobertTLange · 2026-11-07
- Beam 发布 156 页技术报告:覆盖预训练到 RL 全流程 — brandondamos · 2026-11-08
另有 1 条近重复转述:teortaxesTex