新研究：知识更新后模型置信度失准，持续校准存在巨大改进空间
EliasEskin · x · 2026-10-01
victorwang37 团队提出「持续校准」（persistent calibration）新问题：可信的持续学习模型，其置信度应随知识增长而同步更新，而无需反复重新校准。
- 评测方法：在开源模型的多个 checkpoint 上测试，用「知识对比集」（一个 checkpoint 答对、另一个答错的题目子集）度量置信度对知识变化的依赖
- 核心发现：即便在单一时间点上表现良好的置信度估计器，在后续 checkpoint 上泛化也很差，存在 substantial headroom
- 推理时方法与微调方法均存在明显不足（原文截断）
「研究」频道最新
- 可注射纳米「太阳能电池」让失明视网膜重获光感并激活视觉皮层 — DrKavner · 2026-10-02
- 1950 年代超指数增长预言 2026 年「世界末日」，AI 让奇点论重新成立 — Electronic_Cut2562 · 2026-10-01
- 机器人专家：真实机器人性能瓶颈不在数值，离线仿真求解被低估 — ZeYanjie · 2026-10-01
- FAR 框架教世界模型学会情景记忆召回,胜过手工设计的召回机制 — mittu1204 · 2026-10-01
- 播客对谈：数十亿神经元如何理解世界，AI 真的「理解」任何东西吗 — soniajoseph_ · 2026-10-01
- Hugging Face 官方下场:开源极简终端编码 Agent Tau,2.9k 星 — mervenoyann · 2026-10-01