超越熵的正确性感知RLVR
tencent · hf · 2026-07-20
超越熵：用对比策略优化做正确性感知的优势塑形
这篇论文指出，RLVR 里常用的 entropy 并不能区分“有用的不确定性”和“有害的混乱”，因此并不是理想的正确性信号。
作者提出 Contrastive Policy Optimization（CPO）：通过参考引导分布与普通生成分布之间的 token 级对比不一致性来做优势塑形，并证明这种不一致性可以较稳定地反映 token 级正确性。论文还给出两个重要结论：
- On-policy Distillation 可以看作 CPO 的特例，当后验分布由外部 teacher model 提供时成立。
- CPO 还能缓解 zero-advantage 问题。
实验结果显示，CPO 在域内与域外基准上都明显优于基于 entropy 的 RLVR 方法，同时保持了较强泛化。作者进一步分析认为，正确与错误回答分别更支持探索与利用，而二者平衡最好。
所属事件:新研究提出CPO以优化RLVR正确性感知(2 条相关)→
「研究」频道最新
- 开源编译器 Latch 从 PyTorch 生成训练 megakernel，H100 上提速 2.75 倍 — sguada · 2026-10-27
- π0.5 实验：演示数从 10 增至 438，放球入碗成功率 7%→83% — stingning · 2026-10-27
- 灵巧操作基准 HandsOn 发布:66 个人工核验任务配 1.8 万条人类示范 — stingning · 2026-10-27
- FrontierCS 2 登陆 Kaggle：48 项任务让智能体复现 13 领域论文贡献 — MeganRisdal · 2026-10-27
- LightMTP：轻量潜空间多 token 预测助 LLM 预训练学会提前规划 — gdm3000 · 2026-10-27
- DexPort：手持真机器手的 20 自由度灵巧手数据采集接口 — pabbeel · 2026-10-27