Reflection AI 开源 501B 模型 Beam,单节点 8 卡 B300 即可 LoRA 微调
QGallouedec · x · 2026-10-16
Reflection AI 发布的新开源模型 Beam（总参数 501B、激活 23B）已可在 Hugging Face TRL 的 SFTTrainer 中用 LoRA 微调，仅需单节点 8 张 B300。作者 QGallouedec 展示了极简的并行配置：一行 DistributedConfig(fsdpsize=8, epsize=8) 即完成 FSDP+专家并行的全部设置，配套示例脚本已开源在 TRL 仓库的 sftbeam 目录。
所属事件:Reflection 开源 Beam-1.0：501B MoE 模型支持 1M 上下文(20 条相关)→
「研究」频道最新
- Goodfire 创始人挑战叠加假说：InceptionV1 多语义性或另有成因 — petrusenko_max · 2026-10-16
- 实测 11 种提示策略催 LLM 创意：直接要「非显而易见」的点子最有效 — arjunrajlab · 2026-10-16
- SimpleMark 论文:多比特文本水印可将每 token 失真限制在预算内 — rishabh16_ · 2026-10-16
- 斯坦福新论文:生成式表征学习做 tokenizer,省 7-8 倍训练算力 — HirokatuKataoka · 2026-10-16
- Cohere Labs 将在 EMNLP 2026 展示推理模型置信度估计等新研究 — Cohere_Labs · 2026-10-16
- Vals RSI 指数外推：Google 模型或于 2027 年 10 月达 130% 自研水平 — HaydnBelfield · 2026-10-16