Reflection AI 开源 5000 亿参数 Beam:两个月数千 GPU 零停机训练
dl_weekly · x · 2026-10-25
Reflection AI 在 Hugging Face 上开放其首个大模型 Beam 的权重,并附训练配方与代码模板。
- 规模与性能:约 5000 亿参数,在部分基准上接近 4 倍体量模型的表现,算力与内存占用显著更低。
- 训练工程:两个月内用数千张高端 GPU 训练,几乎零集群停机。自研可靠性优化算法重点解决训练-推理不一致问题,并建有自动数据纠错系统——出错时回滚到较早阶段续训而非从头再来。
- 发布形态:标准版之外还提供多个量化版本,以少量质量换硬件效率;权重附带后训练配方和定制用代码模板。
开源社区目前最先进的 LLM 之一,工程细节的公开对大规模训练团队有参考价值。
「Infra」频道最新
- 305M 激活参数小模型离线操控电脑:断网订日历只要 0.26 秒 — lmoroney · 2026-10-25
- SGLang 回应对比争议:重跑后 prefill 性能持平或超越 DeepInfer — hsu_byron · 2026-10-25
- 曝 Anthropic 洽谈 450 亿美元算力协议,西弗吉尼亚新增 460MW Rubin 容量 — Beth_Kindig · 2026-10-25
- DIY GPU 集群翻车实录:PCIe 重定时器会让你「着火」 — giffmana · 2026-10-25
- GPT-6.1 Sol 性价比登顶,作者称 Opus 5.5 仍会掉逻辑陷阱 — haider1 · 2026-10-25
- DeepSeek V4.1 Flash 去审查版 GGUF 冲上 Hugging Face 热榜 — orcarouter · 2026-10-25