humans& 推出权重传送技术,采样器暂停缩至 0.23 秒
ericzelikman · x · 2026-11-03
humans& 团队发布了「权重传送」(weight teleportation)技术,解决大规模强化学习训练中 trainer 到 sampler 权重更新慢、成本高的问题。
- 性能:sampler 暂停时间低于 0.23 秒,约 3 秒完成非阻塞压缩与准备,瓶颈最终落在 GPU 硬件的解压 ASIC 上
- 实现方式:用 GPU 做大规模并行压缩权重增量,设计异构解压与补丁管线,并与硬件原生特性协同设计
- 支持 sampler 分布在任何位置(甚至戏称「太空」),基于 Miles 框架的 delta weight sync 深化,并已贡献回 Miles 供所有用户使用
所属事件:「权重瞬移」开源:跨数据中心 RL 权重同步压至 0.23 秒(13 条相关)→
「Infra」频道最新
- AI agent 自创「套娃 k8s」架构:kcp 分区叠 bare metal 叠 KubeVirt 叠 guest 集群 — sloppenheimer · 2026-11-03
- OpenAI 自研 Git 后端 Pando:推送延迟降 80%,日服务近 1PB 数据 — gdb · 2026-11-03
- NVIDIA 发布 AI Cluster Runtime:为 Dynamo 推理栈提供经验证的 K8s 配方 — nvidia · 2026-11-03
- Periodic Labs 将在 SGLang Summit 分享物理实验 RL 基础设施实践 — hsu_byron · 2026-11-03
- lauriewired:SQLite 比多数传统文件系统还快,值得更多实验性 OS — lauriewired · 2026-11-03
- NVIDIA 博客拆解 KV cache 压缩为何在 vLLM 生产环境失灵 — blaizedsouza · 2026-11-03