REPO：让on-policy也能稳学价值
Cohere · youtube · 2026-07-18
这是 Cohere 分享的一场关于强化学习论文 **Relative Entropy Policy Optimization (REPO)** 的长讲座，主题是把“稳定的 value-based 学习”带回 on-policy 训练场景。 讲者先对比了两类 RL 范式：一类是 REINFORCE / TRPO / PPO 这类 policy-gradient 方法，优点是适合大量采样，但通常方差高、调参难；另一类是 off-policy 的 value-driven 方法，样本效率更高，但往往依赖 replay buffer 和更复杂的稳定化设计。讲座的核心问题是：能否在不依赖巨大 replay buffer 的情况下，让 value learning 在 on-policy 场景里也稳定工作。 围绕这个问题，视频介绍了 REPO 的关键构件与训练直觉，包括： - actor-critic 的两种范式对比 - REINFORCE、优势函数、pathwise gradients 与 critic 的关系 - 为什么 PPO 有时会胜过 value-based 方法 - 采样方差与偏差之间的权衡 - resampling、TD(lambda) 目标、trust region 与自动调参 - 在 DM Control 等基准上的结果与结论 讲者还强调了这项工作的目标不仅是提升 RL 算法稳定性，也是在机器人与强化学习研究中更好地做 benchmark 和科学比较。