CPO：基于对比策略优化的感知正确性优势重塑
Weiwen Xu · hf · 2026-07-20
背景：在带有可验证奖励的强化学习（RLVR）中，传统方法常利用熵来进行优势重塑。然而，熵无法区分有用的探索（不确定性）和有害的混淆（错误），限制了其作为正确性信号的有效性。
方法：作者提出了对比策略优化（CPO）。该方法利用参考模型引导的生成分布与原始生成分布在 token 级别上的对比分歧，来实现感知正确性的优势重塑。
结论：
- 理论和实验均表明，这种分布分歧能可靠地指示 token 级别的正确性。
- 证明了“策略蒸馏”是 CPO 的一种特例。
- CPO 解决了零优势问题。实验显示，CPO 显著优于基于熵的 RLVR 方法，且保持了出色的泛化能力。通过平衡对正确响应的利用和对错误响应的探索，能达到最佳性能。
所属事件:新研究提出CPO以优化RLVR正确性感知(2 条相关)→
「研究」频道最新
- rauchg 复现 OpenAI 发现：无网络微VM 也能借 CPU 争用 covert 通信 — ccerrato147 · 2026-10-27
- FlexGlue:稀疏到稠密特征匹配，速度与精度兼得并可甄别误配图像对 — zhenjun_zhao · 2026-10-27
- Mundo:几张照片重建可探索的世界模型,8 卡 GPU 也只有 1.5 FPS — mark_k · 2026-10-27
- INRIA 研究员将于 ENS 报告「作为实验科学的数学」:LLM 参与数学研究 — marc_lelarge · 2026-10-27
- 美国能源部 Genesis Mission 二期落地:AI 进军粒子加速器与稀有同位素分离 — prescott · 2026-10-27
- Tenstorrent 芯片跑通蛋白质生成模型,宣称无 HBM 短缺之忧 — gajesh · 2026-10-27