「权重瞬移」技术开源：跨数据中心 RL 权重同步停顿压至 0.23 秒
humansand 团队(Ziang Li 等)提出、gharik 团队发布并开源了「weight teleportation」(权重瞬移)技术，解决大规模 RL 中 trainer 向 sampler 推送权重更新数据量大、慢且昂贵的核心痛点。据发布信息，即使双方分处不同数据中心，采样器停顿时间也能压到 0.23 秒以下，达到互联网级别速度，打破了传统架构要求 trainer 与 sampler 同处一个数据中心的假设，被视为去中心化 RL 的关键瓶颈突破。消息当日经 Kyrannio、akiroai、niloofarmire 等多账号转发扩散。
已确认
- 技术由 humansand 团队提出并开源，允许 trainer 与 sampler 异地高速同步权重，无需 RDMA；据 niloofarmire 的转发，这是基于 GPU 加速的无损压缩同步方案，用 GPU 做大规模并行压缩模型权重变更，并工程化异构解压与补丁流水线。
- 关键性能数字：采样器停顿时间低于 0.23 秒，非阻塞的压缩与准备约 3 秒(原帖还列有更多性能数据)。
- 针对跨数据中心延迟的疑问，gharik 转述 zianglih 的解释：停顿时间只用于原生解压 ASIC 完成的解压与打补丁，并与本地 GPU 工作重叠执行，因此不受双方距离或带宽影响。
- 据 m5/m6 转述，Ziang Li 称其团队已不再依赖 P2P RDMA，权重同步停顿时间现在按毫秒计，即大规模 RL 训练/推理交替的同步开销被压到极低，行业人士转发盛赞。
为什么重要
- 传统分布式 RL 架构被绑定在同一数据中心内，权重同步是去中心化 RL 的核心短板；该方案若如所述，可显著降低跨机房乃至跨地域 RL 训练与推理采样部署的成本与延迟，也意味着训练-推理一体(如 RL rollout 与权重更新交替)的同步开销大幅下降。
2026-11-03 ~ 2026-11-03 · 12 条相关
一手来源
- 权重瞬移开源:跨数据中心 RL 权重更新压缩到 0.23 秒 — gharik ·
- 分布式推理采样暂停仅做解压与补丁，不超一秒 — gharik ·
- RL 推理基建新纪录：权重同步暂停时间已按毫秒计 — gharik ·
- 【源头】权重瞬移开源:跨数据中心 RL 权重更新压缩到 0.23 秒 — gharik · 2026-11-03
- 团队开源跨数据中心 RL 快速权重更新，trainer 与 sampler 可异地高速同步 — akiroai · 2026-11-03
- Weight Teleportation:跨集群权重更新快于集群内,分布式 RL 瓶颈被打破 — Kyrannio · 2026-11-03
- 【源头】分布式推理采样暂停仅做解压与补丁，不超一秒 — gharik · 2026-11-03
- RL 权重更新暂停时间与机房距离无关：解压走 ASIC 并与 GPU 工作重叠 — gharik · 2026-11-03
- 权重瞬移技术将 RL 采样器停顿压到 0.23 秒以下 — gharik · 2026-11-03
- humans& 发布 GPU 加速权重传送:无损压缩实现 RL 权重即时同步 — niloofar_mire · 2026-11-03
- 【源头】RL 推理基建新纪录：权重同步暂停时间已按毫秒计 — gharik · 2026-11-03
- Humansand 发布权重传送技术:采样器暂停仅 0.23 秒,瓶颈变成 GPU 解压 ASIC — gharik · 2026-11-03
另有 3 条近重复转述:gharik · gharik · niloofar_mire