NVIDIA 推出 LoGRA：RL 训练显存占用大降 45.7%

NVIDIA 发布论文 LoGRA，提出一种内存高效的大模型强化学习后训练方法。它不同于冻结主模型只训 LoRA 的做法，而是在反向传播时通过 rank-256 随机投影的低秩梯度草图、每步重绘的方式直接累积低秩梯度，全程不构建完整梯度矩阵，从而将 RL 训练显存占用降低 45.7%，低于 LoRA，并可在 8 卡上跑通 27B 模型的训练。

2026-10-12 ~ 2026-10-13 · 2 条相关

• LoGRA:反向传播累积低秩梯度,RL 训练显存省 45.7%,8 卡跑通 27B — 青稞AI · 2026-10-12
• NVIDIA 提出 LoGRA：RL 训练显存省 45.7%，比 LoRA 还低 — omarsar0 · 2026-10-13