ICML 论文重思两类不确定性：信息论量或是糟糕估计器

gleech · x · 2026-08-19

一条关于「为什么用香农熵 H(X) = −Σᵢ pᵢ log pᵢ 度量不确定性」的科普线程引来讨论：BrantonDeMoss 推荐了 Bickford Smith 等人的 ICML 2025 论文《Rethinking Aleatoric and Epistemic Uncertainty》。

论文指出，「偶然(aleatoric)vs 认知(epistemic)不确定性」的流行框架存在不连贯之处，表达力不足以刻画研究者关心的所有量。作者提出决策论视角：不确定性可定义为贝叶斯最优策略下的期望损失，从而把不确定性、预测性能与数据统计散度严格联系起来。论文还证明流行的信息论量往往是其所声称要度量之物的糟糕估计器，但仍可用于指导数据获取。