免费 30 分钟课:用 10 行 numpy 校准模型置信度,ECE+Brier 实操
bgoncalves · x · 2026-10-29
数据科学家 Bruno Gonçalves(物理学博士、Data For Science 作者)将于 11 月 4 日开设 30 分钟免费课「Can You Trust Jev's scores?」,主题是概率校准(calibration)。
课程要点
- 从原始概率画出 reliability diagram,直观判断「标 0.8 的答案是否 80% 正确」。
- 用 10 行 numpy 计算 ECE 和 Brier 分数,并知道该向谁报告哪个指标。
- 将概率转化为运行阈值:按误放行/误拦截成本设定 auto / confirm / human 三个置信带。
- 实例基于 113 条跨三任务的有标注 yes/no 数据,对比 Jev 校准概率与 Claude 自报置信度,提供 notebook 和阈值表模板。
核心观点:未经校准检验的置信分数「只是带小数点的感觉」,无人在环的自动决策必须先校准。
「研究」频道最新
- LLM 回测被知识截止污染？Datology 给出可控合成数据方案 — josh_wills · 2026-10-30
- 华沙团队发布二手电子产品多期价格预测基准：深度学习对决统计模型 — PtrPomorski · 2026-10-30
- 只训练 Qwen3-8B 一个随机神经元，就能把它变成一只猫头鹰 — maxsloef · 2026-10-30
- 数学家发现纽结与拉马努金公式的新联系,Axiom Math 参与解读 — Zulfikar_Ramzan · 2026-10-30
- AI 冲击数学界:哲学家提「清单模型 vs 生成式相遇」,数学进步将迎黄金时代还是终结 — Dr_Atoosa · 2026-10-30
- FACT：用人类视频加力信号训练机器人灵巧操作 — jiajunwu_cs · 2026-10-30