willcb：RL是直接优化目标的本质，GRPO最接近真RL

X 用户 willcb 针对社区对 RL 的常见误解发表看法：任何算法都隐含优化某个目标的意图，RL 是对目标函数梯度的直接估计，而 RL 之外的算法大多在用代理目标回避直接优化，因此不存在「绕开 RL 找到更好算法」的捷径。他还给出具体判断：去掉标准差归一化的 on-policy GRPO 非常接近「真正的 RL」（REINFORCE），GRPO、DAPO 等变体中的其他改动本质上是效率技巧。

2026-10-12 ~ 2026-10-12 · 2 条相关

• willcb:除 RL 外的算法都是在用代理目标回避直接优化 — willcb · 2026-10-12
• willcb：on-policy GRPO 接近真正 RL，其余都是效率技巧 — willcb · 2026-10-12