Reflection 156页 Beam 技术报告曝光:换用 cuDNN RMSNorm 提速10%
brandondamos · x · 2026-11-07
- Reflection 发布了 156 页的 Beam 模型技术报告,覆盖预训练、中期训练、SFT、RL 与 OPD 全流程的 infra、数据与科学决策。
- NeMo AutoModel 作者 brandondamos 转述了报告中几个实用的训练基础设施细节:
- Transformer Engine 的 RMSNorm kernel 占据 SM、饿死 NCCL 通信,换用 cuDNN 的 RMSNorm 后获得 10% 提速。
- 关闭 Python 自动 GC,让所有 rank 每隔几步统一集中回收(NeMo AutoModel 采用同样做法)。
- FA4 在 head dim 256 有 bug,被迫改用 128。
- 把所有指标 all-reduce 融合成一次,大幅降低大规模日志开销。
- 报告以诚实、可落地的细节获得作者好评。
所属事件:Reflection AI 开源 Beam 并发布 156 页技术报告(8 条相关)→
「Infra」频道最新
- AI 数据洪流倒逼存储革新:海底数据中心、DNA 与玻璃存储 — ChuckDBrooks · 2026-11-22
- Codex Code Mode 提速 10ms:工具目录跨 cell 复用省掉重复序列化 — charliermarsh · 2026-11-22
- AI 生态地图 2026:120 个工具横跨 18 个类别的选型指南 — blaizedsouza · 2026-11-22
- 谷歌 AI 会员每月白送云端赠金:Pro 月送 10 刀,Ultra 20x 月送 100 刀 — lxfater · 2026-11-22
- Inkling 2 mini 千兆上下文 KV 缓存设计拆解:仅 8 层保留全缓存 — teortaxesTex · 2026-11-22
- 自建 llama.cpp 分支让 12GB 显卡跑 64K 上下文,解码翻倍预填快 17 倍 — Puzzled-Stick9170 · 2026-11-22