Confidence Comes from Experience: Experiential Confidence Estimation from Reasoning to Agents
Caiqi Zhang, Xiaochen Zhu, Chengzu Li, Yulong Chen, Dharshan Kumaran, Nigel Collier
cs.CL, cs.AI
2026-09-16
XConf把模型已打分经历做成经验库,Recall读历史命中率,Reflect让模型按成绩单重报把握。九项任务、四个模型上,一次生成的AUROC在23/24组打平或超过十样本自洽,ECE更低。
语言模型一旦写进代码、操作浏览器、跑几十步 agent,错一次的代价就从答错选择题变成真实事故。这时真正要的信号是这次输出对的概率,用来决定发货、升级给人、还是花钱再试一次。
现有估计器只盯着这一次推理。口头置信度让模型自己报一个数,系统性偏高;似然方法要 token 概率,多数 API 不给;自洽把同一题再采十遍看一致性,贵,而且代码和长轨迹没法按字符串投票。它们都不问一件更朴素的事:这模型以前在同类题、报过类似把握时,实际对了多少。
剑桥和 Google DeepMind 的 XConf 把置信度估计从读这一次,改成读自己的成绩单。每次已打分经历存五件事:任务、打分前的自我反思、口头置信度、对错、打分后模型写的一句教训。教训只进库,未打分时不给模型看,防止事后诸葛亮。
新任务来了,分两步读同一份记录。
最终置信度是两者等权平均。不改权重、不要 logit、答案只生成一次。经验库是部署时本来就要打的分,不是另采的数据集。
四个模型(Gemini 2.5 Flash、3.5 Flash、Qwen3.5-397B、Claude Sonnet 4.6),九个基准覆盖推理、代码、多模态问答和交互 agent。相对十样本自洽,AUROC 在 24 组里 21 胜 2 平 1 负,生成代价大约十分之一。
| 任务 | 模型 | XConf AUROC / ECE | 对照 |
| MMLU-Pro | Gemini 2.5 Flash | 0.822 / 0.024 | 自洽 0.810 / 0.075 |
| SuperGPQA | Claude Sonnet 4.6 | 0.767 / 0.026 | 自洽 0.687 / 0.241 |
| LiveCodeBench | Gemini 2.5 Flash | 0.887 / 0.062 | 自洽 0.777 / 0.374 |
| AppWorld | Qwen3.5-397B | 0.837 / 0.116 | 口头 0.583 / 0.397 |
MMLU-Pro 上 ECE 比口头置信度低三到八倍。AppWorld 上失败轨迹看起来很干净,口头平均约 0.72,检索经验到约 0.86。SWE-bench Verified 上训练过的 verifier 最高 0.806,XConf 训练免费做到 0.775–0.846。
丢掉最低 10% 置信度的样本,36 组平均交付准确率涨 4.8 点;Gemini 3.5 Flash 在 AppWorld 上从 0.805 到 0.892,差 8.7 点。最自信十分位准确率 0.98,最不自信十分位只有 0.28,底部五分之一装着一半错误。
库从一百条涨到满池,agent 域 AUROC 持续爬;MMLU-Pro 大约一万二千条才走平。随机邻居 AUROC 0.494,纯语义检索 0.732,完整键 0.833。拿掉口头置信度,推理掉 0.08、agent 掉 0.12。跨模型借库通常掉 0.03–0.06。用别的模型在同一题上的成功率控制难度后,XConf 仍有 0.79 AUROC。
这是一套黑盒、训练免费、格式通用的置信度,代码补丁和三十步轨迹都能用同一套管线。对要做选择性提交、人工升级的产品,10% 弃权换几个点的交付成功率,比再采十遍便宜。经验还能跨同类型数据集借;跨任务族中位代价 0.08,代码域最差,因为非代码库里没有代码经历。
它不是免费午餐。银行要的是独立于模型自我判断的打分。弱但独立的 LLM judge(和金标一致率 0.91)仍能打平十样本自洽;模型自己给自己打分,会正好漏掉「很自信但错了」的那些条,比没有标签还差。
作者自己写了:在 SimpleQA 这类可投票的短事实题上,自洽仍是更强的区分器,主表里唯一的负分就落在可投票格子。检索键、库的遗忘与压缩、跨域迁移,都还是开放设计;他们试过参数化和聚类,没打下保留原始条目。
更硬的约束是非平稳。经验绑在这个 actor 上,模型一进化,旧条目就逐渐变成另一个模型的成绩单,校准记忆可能要跟着能力一起忘。论文没测和 Reflexion、ReasoningBank 这类为了把下一题做对而存的记忆能不能共用一个库。五个交叉验证折保证估计时看不到本题结局,真实在线部署里打分往往滞后,实时顺序回放只在附录。