NVIDIA NeMo-DCR 将万亿参数模型权重同步提速至 40 倍

NVIDIA 发布 NeMo-DCR（Delta-Compressed Refit），针对 agentic RL 训练与推理分离架构下的权重同步瓶颈。研究发现 RL 训练中每个更新步骤实际仅有 0.6%–1.2% 的模型权重发生变化，而标准流程仍全量拷贝完整 checkpoint。通过只同步压缩后的权重增量，1T 模型的权重同步时间从 87.5 分钟压缩到 150 秒，跨 AWS 区域场景下提速 12 至 40 倍。

2026-10-07 ~ 2026-10-09 · 2 条相关