CAMEL：按置信度反思的奖励模型
机器之心 · wechat · 2026-07-12
CAMEL：用置信度门控做奖励建模
这篇文章提出 CAMEL，把奖励模型从“总是输出长解释”的生成式 judge，改造成“先给单 token 初判，再按置信度决定是否反思”的流程。核心信号不是额外训练的置信度头，而是两个 verdict token 之间的 log-probability margin：margin 越大，说明模型越确定；越小则进入 reflection 复核。
主要方法
- 单 token 初判：先判断候选回答 A/B 哪个更好。
- 置信度门控：高置信样本直接输出，低置信样本才触发反思。
- Counterfactual Prefix Augmentation：训练时为同一样本构造强制初判为 A/B 的两个版本，再用 GRPO 学习，让模型学会“确认正确初判、推翻错误初判”。
实验结果
作者基于 Qwen3-14B 训练，在 RewardBench、RM-Bench、JudgeBench 上评测，覆盖聊天、安全、数学、代码等任务。
- CAMEL-Fast：三项 benchmark 分别为 90.5% / 74.8% / 65.2%。
- CAMEL-Reflection：达到 92.8% / 84.2% / 71.6%。
- 平均准确率 82.9%，比此前最佳 baseline 提升 3.2%。
- 以 14B 参数超过多个 70B 级奖励模型。
结论
文章强调，奖励模型的关键不在于无差别加长 reasoning，而是把计算预算放到真正困难的样本上。训练后模型的置信度分布还出现整体左移，说明它变得更保守、更会识别哪些样本值得反思。
「研究」频道最新
- Nature 新研究实现全身器官细胞活动成像,揭示跨器官体级回路 — arjunrajlab · 2026-09-11
- SignNet 1M 手语数据集发布 — ducha_aiki · 2026-09-11
- ECCV26 口头论文：流匹配实现多视角点云配准 — ducha_aiki · 2026-09-11
- InFlux++ 方法发布 — ducha_aiki · 2026-09-11
- Skyfall GS 登场:用 Flux 提升 Gaussian Splatting 精修质量 — ducha_aiki · 2026-09-11
- 一万个智能体能否突破反向传播,找到更好的学习算法 — SeunghyunSEO7 · 2026-09-11