CAMEL：按置信度反思的奖励模型
机器之心 · wechat · 2026-07-12
## CAMEL：用置信度门控做奖励建模 这篇文章提出 **CAMEL**，把奖励模型从“总是输出长解释”的生成式 judge，改造成“先给单 token 初判，再按置信度决定是否反思”的流程。核心信号不是额外训练的置信度头，而是两个 verdict token 之间的 **log-probability margin**：margin 越大，说明模型越确定；越小则进入 reflection 复核。 ## 主要方法 - **单 token 初判**：先判断候选回答 A/B 哪个更好。 - **置信度门控**：高置信样本直接输出，低置信样本才触发反思。 - **Counterfactual Prefix Augmentation**：训练时为同一样本构造强制初判为 A/B 的两个版本，再用 GRPO 学习，让模型学会“确认正确初判、推翻错误初判”。 ## 实验结果 作者基于 **Qwen3-14B** 训练，在 **RewardBench、RM-Bench、JudgeBench** 上评测，覆盖聊天、安全、数学、代码等任务。 - **CAMEL-Fast**：三项 benchmark 分别为 **90.5% / 74.8% / 65.2%**。 - **CAMEL-Reflection**：达到 **92.8% / 84.2% / 71.6%**。 - 平均准确率 **82.9%**，比此前最佳 baseline 提升 **3.2%**。 - 以 **14B 参数**超过多个 **70B** 级奖励模型。 ## 结论 文章强调，奖励模型的关键不在于无差别加长 reasoning，而是把计算预算放到真正困难的样本上。训练后模型的置信度分布还出现整体左移，说明它变得更保守、更会识别哪些样本值得反思。