新加坡国立大学推出 ConfTuner:让模型说出的置信度匹配真实准确率
jiqizhixin · x · 2026-10-11
模型选对了答案,却声称 99% 置信度而实际只有 60% 正确——在医疗场景中,这种对错误答案的过度自信会直接误导人的后续决策。问题的核心不只是答对,而是让模型声明的置信度与真实正确率对齐。
新加坡国立大学提出的 ConfTuner 已被 NeurIPS 2025 接收:
- 与走红的 Jev 模型共享同一核心直觉:直接输出决策加概率,支持并行概率预测,把概率当作预测的核心而非事后补充;
- 目标是概率校准(p calibration)——不仅选对,还要让声明概率反映真实正确率;
- Jev 闭源,ConfTuner 开源,并提出 Tokenized Brier Score,直接训练候选答案上的概率分布。
「研究」频道最新
- IFM 开源 RL360:8192 并发沙箱、130 万 rollouts 的 RL 基建 — rupspace · 2026-10-23
- 号称匹敌 GPT-6.1 的 DNA 模型遭实测打脸：10 例 8 例不如随机 — anshulkundaje · 2026-10-23
- AI 揭穿阴谋论研究风波落幕：Science 撤回关注声明，结论不变 — DG_Rand · 2026-10-23
- Embodied First Exam：一行代码在 44 台机器人上考你的 Agent — ManlingLi_ · 2026-10-23
- Anima Anandkumar 演讲：AI 气象模型胜超算，但不会取代科学家 — AnimaAnandkumar · 2026-10-23
- GLM-5.3-Flash 实现 1M token 上下文训练，较基线提升 64 倍 — AndrewLBeam · 2026-10-23