研究者用偏差-方差框架解析 PPO 与 GRPO 优劣

RL 训练研究者提出用「方向性偏差-方差权衡」框架分析策略梯度优势估计器：每个估计器可用对齐度（估计器期望梯度与真实策略梯度的余弦相似度）等量刻画。分析指出 GRPO 需要比 PPO 更大的 batch size 才能达到同等效果，尤其在更长任务上因方差爆炸而劣势明显，而批量大小很大程度上决定了两种方法的胜负。

2026-11-11 ~ 2026-11-11 · 2 条相关

• 研究者分析：GRPO 需更大 batch 才能追平 PPO，长任务方差爆炸 — stochasticchasm · 2026-11-11
• PPO 还是 GRPO？方向性偏差-方差视角解释批量大小如何决定胜负 — stochasticchasm · 2026-11-11