White Circle 开源 Halo 后训练框架,吞吐达 TRL 2.8 倍
rohanpaul_ai · x · 2026-09-22
White Circle 发布开源分布式后训练框架 Halo,定位在 HuggingFace TRL 之上、Megatron 之下:模型已超出 TRL 舒适区但不需要完整 Megatron 栈的场景。
- 在 8×B300 上,相比原版 TRL 吞吐最高 2.8×;双方都以 ZeRO-3 分片时为 2.7×,且峰值显存还少 25%,对其他被测框架领先幅度更大
- 核心思路是不重写模型架构,而是包装现有 Transformers 模型,提供专家并行、上下文并行、张量并行及专家-张量混合并行
- 支持直接对 HuggingFace 格式模型跑多轮 RL,从单卡到集群均可扩展
所属事件:White Circle 开源后训练框架 Halo，号称吞吐达 TRL 2.8 倍(8 条相关)→
「编程与Agent」频道最新
- 美联航将禁止个人AI代理代客预订机票 — Polymarket · 2026-11-12
- Agentic Search 图解：4 次搜索的循环成本约为单次搜索的 5 倍 — adnan_hashmi · 2026-11-12
- AWS 自曝：AWS Emulator 每行代码均由自主 AI Agent 编写 — SumitGup · 2026-11-12
- freeCodeCamp 上线 2 小时 Codex 智能体编码免费课 — adnan_hashmi · 2026-11-12
- 被严重低估的资源：跨模型跨厂商的工具调用可靠性实测 — ricklamers · 2026-11-12
- 整理 5.5 万数据点的教训:企业级 Agent 数据准备远比想象更难 — BenBajarin · 2026-11-12