Hugging Face 新技术:Delta Weight Sync 节省 99% 带宽

SergioPaniego · x · 2026-08-17

Hugging Face 团队发布 TRL 新特性,利用连续 RL 步骤间 99% 的 bf16 权重比特级相同这一事实,仅同步权重增量。该方法将 Qwen3-0.6B 的每步传输量从 1.2GB 降至 20-35MB,成功在无共享集群、无 RDMA 情况下完成了分布式训练,大幅降低了异步 RL 训练成本。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →