超越熵的正确性感知RLVR
tencent · hf · 2026-07-20
超越熵：用对比策略优化做正确性感知的优势塑形
这篇论文指出，RLVR 里常用的 entropy 并不能区分“有用的不确定性”和“有害的混乱”，因此并不是理想的正确性信号。
作者提出 Contrastive Policy Optimization（CPO）：通过参考引导分布与普通生成分布之间的 token 级对比不一致性来做优势塑形，并证明这种不一致性可以较稳定地反映 token 级正确性。论文还给出两个重要结论：
- On-policy Distillation 可以看作 CPO 的特例，当后验分布由外部 teacher model 提供时成立。
- CPO 还能缓解 zero-advantage 问题。
实验结果显示，CPO 在域内与域外基准上都明显优于基于 entropy 的 RLVR 方法，同时保持了较强泛化。作者进一步分析认为，正确与错误回答分别更支持探索与利用，而二者平衡最好。
所属事件:新研究提出CPO以优化RLVR正确性感知(2 条相关)→
「研究」频道最新
- 34 个开源模型全部自托管在 Blackwell 集群上跑健康评测 — keunwoochoi · 2026-10-27
- 新论文:数学数据放训练前段还是末段,取决于学习率调度 — alifcoder · 2026-10-27
- 健康领域评测研究:题目质量与多样性比数量更重要 — keunwoochoi · 2026-10-27
- 七项任务实测:开源模型开高推理档未必更好 — keunwoochoi · 2026-10-27
- 医疗评测：Kimi K3 平 GPT-6，但疑难病例开源落后 17 个百分点 — keunwoochoi · 2026-10-27
- 数据课程与学习率调度应协同设计：数学数据放置策略随 LR 翻转 — CatAstro_Piyush · 2026-10-27