研究揭示GRPO训练崩溃原因及修复

VectorInst · x · 2026-07-08

Xiaoxiao Li团队追踪被许多推理模型训练流程采用的GRPO算法为何反复崩溃:模型会逐渐对自身输出丧失信心,导致梯度失稳。提出的修复方法在关键基准上提升最高达45%。