Cohere 推出 CALIBER:推理前后分别校准模型置信度,ECE 降 52.5%
Cohere_Labs · x · 2026-10-20
Cohere Labs 发布 CALIBER(Calibrating Confidence Before and After Reasoning)论文与博客,主张语言模型的置信度是「状态相关」的:思考前的置信度应估计「我多大可能解出这道题」,回答后的置信度应预测「这个答案多大可能正确」,两者需用不同的监督目标分别训练。
实验结果:
- 7B 模型在 BigMathDigits 上,较最强单置信度基线将期望校准误差(ECE)降低 52.5%,Brier 分数与 AUROC 均为最优,准确率与最佳基线差距在 2.1 分内;
- 30B 模型上同样取得最佳 ECE;
- 分布外数据(GPQA、TriviaQA)上也取得最佳 ECE 与 Brier 分数。
所属事件:Cohere Labs 推出 CALIBER，区分解题前后两种置信度(4 条相关)→
「研究」频道最新
- GLM-5.3-Flash 实现 1M token 上下文训练，较基线提升 64 倍 — AndrewLBeam · 2026-10-23
- 用布尔逻辑训练语言模型，CPU 单线程前向仅需数微秒 — cephaloform · 2026-10-23
- AdaDex:几秒人手视频即可教灵巧手学会抓取、抛接等可泛化技能 — mangahomanga · 2026-10-23
- ReAPO 论文:RLVR 中让模型在失败后重试,推理成绩与训练效率双升 — jasondeanlee · 2026-10-23
- 首个可跑在真实量子电路上的 JEPA 世界模型 Quantum-JEPA 发布 — DrMorganLevine · 2026-10-23
- Omnii Genome 单一通用模型全面超越 AlphaGenome — JosephJacks_ · 2026-10-23