NVIDIA 推出 LoGRA,强化学习训练显存最高省 45.7%
NVIDIA 发布面向 LLM 强化学习后训练的内存优化方法 LoGRA。其核心思路是用低秩梯度草图将学习信号压缩成紧凑表示,在压缩梯度的同时保留有效学习信号、支持模型更新,并通过控制每次更新的幅度保持训练稳定。据称该方法可将强化学习训练的内存占用平均降低,最高节省 45.7%。
2026-10-07 ~ 2026-10-08 · 2 条相关
- NVIDIA 发布 LoGRA:低秩梯度草图把 LLM 强化学习训练内存最高省 45.7% — nvidia · 2026-10-07
- NVIDIA 发布 LoGRA:强化学习训练显存最高省 45.7% — mark_k · 2026-10-08