Brandon Amos 论文:KL/JSD 等散度运算存在与 softmax 同类的数值隐患
brandondamos · x · 2026-11-17
Brandon Amos 发布论文,指出现有实现中的 KL 散度、广义 JSD、Monte Carlo KL 估计与熵在分布几乎相等时存在舍入与相消导致的数值问题,影响前向与梯度计算,波及知识蒸馏、强化学习、proximal 方法等场景;论文给出数值稳定重写公式并附示例实现。这是对 Jon Barron 发现的 softmax/交叉熵实现 bug 的延续工作。
「研究」频道最新
- Google 推出 Gemini 4 Carbon,助力物理数学与生命科学研究 — GoogleDeepMind · 2026-11-17
- Gemini 4 Carbon 数周完成 Signal 密码代码安全性数学证明 — GoogleDeepMind · 2026-11-17
- 逐帧真实梯度下降动画:α=0.6 折线穿越、α=0.3 沿谷滑行 — ZeroStateReflex · 2026-11-17
- 贝叶斯统计入门:概率是信念的度量而非频率 — mdancho84 · 2026-11-17
- 数据科学家两年才悟透贝叶斯定理,2分钟讲清核心要点 — mdancho84 · 2026-11-17
- 「形式化全部数学」八个月内从离谱变常识,CFSG 形式化纠出 96 处论文错误 — AlexKontorovich · 2026-11-17