XConf 用模型自身经验估计置信度,AUROC 胜过十次采样自洽性
CambUni · hf · 2026-09-17
现有置信度估计方法只读当前推理过程(自省、token 概率或重采样)。上海AI Lab 等提出的 XConf 主张:置信度应结合模型积累的历史经验。
- 经验存储:记录模型自身分级的过往任务,含任务、反思、当时置信度、结果与事后教训
- Recall 阶段:检索相似任务、相似置信度的历史片段,读出历史成功率
- Reflect 阶段:让模型看到自己的战绩,点名反复出现的失败模式,再修正置信度
方法无需 logit 访问或权重更新,只增加一次生成。在覆盖推理、编码、多模态 QA 和交互 agent 的 9 个基准、4 个模型上,XConf 在 24 组对比中的 23 组判别力(AUROC)达到或超过十样本自洽性,ECE 校准误差低得多,生成成本仅十分之一。用于选择性预测时,放弃置信度最低的 10% 样本可使 agent 任务成功率提升最高 8.7 个百分点。
「研究」频道最新
- Cisco 3B 模型漏洞定位得分 0.223，修复后仍误报远少于 GPT-5.5 — shashib · 2026-09-17
- 自动驾驶世界模型新进展：并行解码蒸馏提升生成效率 — abursuc · 2026-09-17
- NVIDIA SpatialClaw:代码即接口,20 项空间基准超此前 agent 11.2 分 — CMHungSteven · 2026-09-17
- 世界模型互动难题:状态需承载多种频率的信息流 — abursuc · 2026-09-17
- 研究者指 AI 数学评测长期依赖虚假基线,数学界缺乏实证传统 — RexDouglass · 2026-09-17
- CoLLAs 2026 主题演讲:持续学习是否困于过时抽象? — apsarathchandar · 2026-09-17