Brandon Amos 论文:KL/JSD 等散度运算存在与 softmax 同类的数值隐患

brandondamos · x · 2026-11-17

Brandon Amos 发布论文,指出现有实现中的 KL 散度、广义 JSD、Monte Carlo KL 估计与熵在分布几乎相等时存在舍入与相消导致的数值问题,影响前向与梯度计算,波及知识蒸馏、强化学习、proximal 方法等场景;论文给出数值稳定重写公式并附示例实现。这是对 Jon Barron 发现的 softmax/交叉熵实现 bug 的延续工作。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →