CAMEL：按置信度反思的奖励模型
机器之心 · wechat · 2026-07-12
CAMEL：用置信度门控做奖励建模
这篇文章提出 CAMEL，把奖励模型从“总是输出长解释”的生成式 judge，改造成“先给单 token 初判，再按置信度决定是否反思”的流程。核心信号不是额外训练的置信度头，而是两个 verdict token 之间的 log-probability margin：margin 越大，说明模型越确定；越小则进入 reflection 复核。
主要方法
- 单 token 初判：先判断候选回答 A/B 哪个更好。
- 置信度门控：高置信样本直接输出，低置信样本才触发反思。
- Counterfactual Prefix Augmentation：训练时为同一样本构造强制初判为 A/B 的两个版本，再用 GRPO 学习，让模型学会“确认正确初判、推翻错误初判”。
实验结果
作者基于 Qwen3-14B 训练，在 RewardBench、RM-Bench、JudgeBench 上评测，覆盖聊天、安全、数学、代码等任务。
- CAMEL-Fast：三项 benchmark 分别为 90.5% / 74.8% / 65.2%。
- CAMEL-Reflection：达到 92.8% / 84.2% / 71.6%。
- 平均准确率 82.9%，比此前最佳 baseline 提升 3.2%。
- 以 14B 参数超过多个 70B 级奖励模型。
结论
文章强调，奖励模型的关键不在于无差别加长 reasoning，而是把计算预算放到真正困难的样本上。训练后模型的置信度分布还出现整体左移，说明它变得更保守、更会识别哪些样本值得反思。
「研究」频道最新
- Datology Curation Studio 线上深潜：少于 20% 算力匹配最强基线 — josh_wills · 2026-10-27
- KANLab 开源：浏览器里可视化玩转 KAN 网络 — Lukas Niehaus · 2026-10-27
- CMU 提出 LLM2Cert：LLM 生成证书，SMT/Lean 自动验证 — CarnegieMellonU · 2026-10-27
- NVIDIA 开源 FLORA：机器人数据引擎，成本仅 GPT-6 Astra 的 1/125 — nvidia · 2026-10-27
- RSNA 2026 深度学习实验室回归:芝加哥四天八节动手 AI 课 — PRouzrokh · 2026-10-27
- 实验：同时调控两组神经元，模型自行组合出「gnome」概念 — Sauers_ · 2026-10-27