KLPO 发布：无 Critic、单 rollout 的 off-policy Agentic RL 方法

lpachter · x · 2026-09-22

Yifan Zhang 等人发布技术报告 KLPO（KL-Regularized Policy Optimization），一种无 critic、单 rollout 的异步 off-policy agentic 强化学习方法：

核心思路：通过对 trainer 到 sampler 的 log-ratio 做回归，拟合局部策略 mirror descent（PMD）条件，不需要乘性重要性权重，也不需要 critic 或奖励分组；默认实现用 per-token 回归系数 + score centering 实现该梯度。
MC-KL：用每个 prefix 的 M≥1 个独立采样估计条件 score 均值，期望上恢复完整 KL 梯度，不增加额外响应 rollout；在确定性 token 转移与终端奖励下还可推出序列回归目标。
工程意义：免去估计 prompt-and-version 归一化器，异步 replay 无需辅助归一化预测器或同 prompt 响应组；另提供 TopK-KL、Binary KL 等近似选项。

论文页面同步挂在 GitHub。另外 LP Achter 顺带吐槽该报告署名 "et al." 里的 "others" 是个谜——可能是一个人、83 亿人、也可能是一只按下回车键的狗，暗指署名者身份不透明。

「Fun」频道最新