「权重瞬移」开源:跨数据中心 RL 权重同步降至 0.23 秒
gharik 团队发布并开源了名为「weight teleportation」(权重瞬移)的大规模 RL 权重同步技术,由 humansand 团队(Ziang Li 等)提出,核心解决 trainer 向 sampler 推送权重更新数据量大、慢且昂贵的问题。据发布信息,即使双方分处不同数据中心,采样器停顿时间也能压到 0.23 秒以下,达到互联网级别速度,打破了传统架构要求 trainer 与 sampler 同处一个数据中心的假设,被视为去中心化 RL 的关键瓶颈突破。这一消息当日经 Kyrannio、akiroai、niloofarmire 等多账号转发扩散。
已确认
- 技术由 humansand 团队提出,gharik 团队发布并开源,允许 trainer 与 sampler 异地高速同步权重,且无需 RDMA。
- 关键性能数字:采样器停顿时间低于 0.23 秒,压缩与准备约 3 秒(原帖还列有更多性能数据)。
- 针对跨数据中心延迟的疑问,gharik 转述 zianglih 的解释:暂停时间只用于原生解压 ASIC 完成的解压与打补丁,并与本地 GPU 工作重叠执行,因此不受双方距离或带宽影响。
为什么重要
- 传统分布式 RL 架构被绑定在同一数据中心内,权重同步是去中心化 RL 的核心短板;该方案若如所述,可显著降低跨机房乃至跨地域 RL 训练与推理采样部署的成本与延迟。
2026-11-03 ~ 2026-11-03 · 8 条相关
一手来源
- 权重瞬移开源:跨数据中心 RL 权重更新压缩到 0.23 秒 — gharik ·
- 分布式推理采样暂停仅做解压与补丁，不超一秒 — gharik ·
- 开源「权重传送」技术:RL 采样器暂停仅 0.23 秒,无需 RDMA — gharik ·
- 【源头】权重瞬移开源:跨数据中心 RL 权重更新压缩到 0.23 秒 — gharik · 2026-11-03
- 团队开源跨数据中心 RL 快速权重更新，trainer 与 sampler 可异地高速同步 — akiroai · 2026-11-03
- Weight Teleportation:跨集群权重更新快于集群内,分布式 RL 瓶颈被打破 — Kyrannio · 2026-11-03
- 【源头】分布式推理采样暂停仅做解压与补丁，不超一秒 — gharik · 2026-11-03
- RL 权重更新暂停时间与机房距离无关：解压走 ASIC 并与 GPU 工作重叠 — gharik · 2026-11-03
- 权重瞬移技术将 RL 采样器停顿压到 0.23 秒以下 — gharik · 2026-11-03
- humans& 发布 GPU 加速权重传送:无损压缩实现 RL 权重即时同步 — niloofar_mire · 2026-11-03
另有 1 条近重复转述:gharik