ReLU 分类器离数据越远越自信:2019 年定理解释 softmax 置信度为何不可信
bravo_abad · x · 2026-11-23
Jorge Bravo Abad 解释了一个由 Hein、Andriushchenko 和 Bitterwolf 于 2019 年证明的定理:只要输入不局限于固定范围,ReLU 网络分类器在远离训练数据处,置信度会随距离趋向 100%。
原理
- softmax 只做指数级的相对比较:二分类中 logit 领先 4.6 即对应 99%,此后每多 2.3 就把剩余不确定性再降十倍
- ReLU 网络是分段线性的,远离数据时每个类得分变成直线,直线间距随距离持续拉大,置信度因此指数增长
这意味着什么
- softmax 回答的是「哪个已知类别最匹配」,无法回答「这个输入是否像训练数据」;它永远不能说「都不属于」
- 典型风险场景:用模拟数据训练的粒子对撞事例分类器,遇到模拟中不存在的新物理过程(恰恰是最想发现的)时只会强行归类,且事件越极端置信度越高
- 事后校准无法修复,因为领先值无界增长;「熟悉度」必须单独度量——比如对输入本身建模,或设计在远离数据处主动失去置信度的分类器
一句话:softmax 告诉你网络偏好哪个已知答案,但不能告诉你这个问题是否在它能回答的范围内。
「研究」频道最新
- 研究实测 10 款大模型:同一过错,男性被全责归咎概率高出 23 个百分点 — alex_verem · 2026-11-23
- 研究者用 Gemini 与 GPT 拆解黎曼猜想 Lean 形式化证明,出 55 页导读 — chaumian · 2026-11-23
- 25万页的AI数学证明来了,Sandberg展望「证明压缩术」 — anderssandberg · 2026-11-23
- AI 时间线论文数量超指数增长:近月每 3.8 个月翻倍 — peterwildeford · 2026-11-23
- 未发布前沿模型接连攻克费马大定理形式化与千禧年难题,数学界陷入震荡 — Afinetheorem · 2026-11-23
- 椭圆曲线离散对数已有多项式解,P≠BQP 也不意味着所有问题无解 — jamestagg · 2026-11-23