NVIDIA 推出 LoGRA,强化学习训练显存最高省 45.7%

NVIDIA 发布面向 LLM 强化学习后训练的内存优化方法 LoGRA。其核心思路是用低秩梯度草图将学习信号压缩成紧凑表示,在压缩梯度的同时保留有效学习信号、支持模型更新,并通过控制每次更新的幅度保持训练稳定。据称该方法可将强化学习训练的内存占用平均降低,最高节省 45.7%。

2026-10-07 ~ 2026-10-08 · 2 条相关