White Circle 开源后训练框架 Halo,号称吞吐达 TRL 2.8 倍
9 月 22 日,AI 安全公司 White Circle 在 GitHub 开源后训练框架 Halo,用于训练大语言模型和多模态模型,采用修改版 Apache 2.0 许可证。官方称其吞吐量最高可达原生 TRL 的 2.8 倍,同时峰值显存占用更低,模型权重始终保持原生 HuggingFace 格式,无需额外转换。该发布获得 Hugging Face CEO Clem Delangue 转发推荐,开源初期仓库已约 282 星。
已确认
- 框架已在 GitHub 开源,许可证为修改版 Apache 2.0(m4、m6、m8)
- 相比原生 TRL 吞吐最高提升 2.8 倍、峰值内存更低(官方宣称,m1、m2)
- 定位在 HuggingFace TRL 之上、Megatron 之下:面向模型已超出 TRL 舒适区但不需要完整 Megatron 栈的场景(m3)
- 模型保持原生 HuggingFace 格式,无需转换、不打断现有工作流(m2、m7)
- 工程配套完整:提供 Docker 与 docker-compose,内置 sglang 与 vllm 两套部署方案,docker-compose 支持含 EF 相关配置(m4、m6、m8)
- 配套发布两个 MoE 微调配方(m1)
- 仓库开源初期约 282 星(m8)
- Hugging Face CEO Clem Delangue 转发推荐,认为训练模型正变得越来越容易(配合 TRL 和 agent 尤其如此),并称对所有任务仍只用现成模型的人正错过机会(m5)
尚未确认
- 2.8 倍吞吐与更低显存为官方宣称,尚无独立第三方验证
为什么重要
- Halo 面向开源模型的后训练场景,填补 TRL 与完整 Megatron 栈之间的空档,在吞吐和显存上对标 TRL,加上原生 HF 格式兼容与完善的部署配套,降低了团队微调自有模型的门槛
- Hugging Face 高管的公开推荐也为其社区关注度背书,与当前「微调自有模型优于全用现成模型」的行业讨论相呼应
2026-09-22 ~ 2026-09-22 · 8 条相关
一手来源
- White Circle 开源大模型训练框架 Halo,采用修改版 Apache 2.0 协议 — rohanpaul_ai ·
- 开源后训练框架 Halo 发布:吞吐达 TRL 2.8 倍且更省显存 — _akhaliq ·
- White Circle 开源 Halo:LLM 与多模态模型训练框架 — aigclink ·
- 【源头】开源后训练框架 Halo 发布:吞吐达 TRL 2.8 倍且更省显存 — _akhaliq · 2026-09-22
- White Circle 开源 Halo:大模型与多模态训练框架 — prasenx · 2026-09-22
- 微调框架 Halo 发布:吞吐达 TRL 2.8 倍且内存更低 — JosephJacks_ · 2026-09-22
- Halo 后训练框架号称吞吐达 TRL 2.8 倍且峰值显存更低 — huggingface · 2026-09-22
- White Circle 开源 Halo 后训练框架,吞吐达 TRL 2.8 倍 — rohanpaul_ai · 2026-09-22
另有 3 条近重复转述:rohanpaul_ai · aigclink · prasenx