GRPO 与 OPD 被定义为仅含 Actor 的 PPO 变体

作者提出技术定义，指出 GRPO 和 OPD 均为仅含 Actor 的 PPO 变体。其中，GRPO 的 Value 基于稀疏验证器的蒙特卡洛组均值，而 OPD 的 Q 值则基于教师策略的对数概率。

2026-08-15 ~ 2026-08-15 · 2 条相关

• GRPO 与 OPD 被定义为仅含 Actor 的 PPO 变体 — bronzeagepapi · 2026-08-15
• 技术解析：GRPO 与 OPD 的 PPO 变体区别 — bronzeagepapi · 2026-08-15