智能体强化学习需要改造GRPO算法
cwolferesearch · x · 2026-07-08
研究者指出，把GRPO这类强化学习算法用于智能体（agentic RL）训练时需要新的算法改动。原始GRPO对每个prompt采样多条rollout，通过组内奖励的均值和标准差归一化来计算优势函数，适合单轮任务；但智能体RL因为rollout多轮、环境各异，奖励方差大得多。为此多篇论文通过改变计算优势所用的"组"来改进GRPO，以应对更高方差。
cwolferesearch · x · 2026-07-08
研究者指出，把GRPO这类强化学习算法用于智能体（agentic RL）训练时需要新的算法改动。原始GRPO对每个prompt采样多条rollout，通过组内奖励的均值和标准差归一化来计算优势函数，适合单轮任务；但智能体RL因为rollout多轮、环境各异，奖励方差大得多。为此多篇论文通过改变计算优势所用的"组"来改进GRPO，以应对更高方差。