模型说 0.8 真能对 80%?免费课教你校验 LLM 校准

bgoncalves · x · 2026-11-03

Bruno Gonçalves（Data For Science 作者，物理 PhD）宣布开设 30 分钟免费课「Can You Trust Jev's scores?」，主题是模型概率校准——当模型给出 0.8 的置信度时，是否真的 80% 的时候是对的，这是无人在环阈值决策的前提。课程内容基于 113 条标注的 yes/no 答案，包括：- 绘制可靠性图（reliability diagram）并解读 bin 分布；- 用约十行 numpy 计算 ECE 和 Brier 分数，并说明分别该向谁报告；- 根据误放行/误拦截的代价把概率转化为操作阈值，划分 auto / confirm / human 三档。报名者可获得配套 notebook 和阈值表模板。