brandondamos 指出分布散度计算在相等点附近仍藏数值陷阱

brandondamos · x · 2026-11-17

研究者 brandondamos 在讨论散度(divergence)数值问题时表示,类似「相等点附近发散」的数值问题很可能还潜伏在其他优化目标中。他原本打算把分析扩展到更多场景,但决定先聚焦当前几个案例。

他还翻出一篇 2008 年的老论文(arXiv:0810.5117,Raj & Wiggins 的《A non-negative expansion for small Jensen-Shannon divergences》),该文针对两个概率分布接近相等时 JSD 数值误差主导计算的问题,推导了非负级数展开——说明 JSD 在相等点处的数值病态早有研究。配图文字进一步指出,f-divergence、Bregman 散度、熵正则最优传输(Sinkhorn 散度)、可微 DTW 等场景都存在类似的「近邻函数值相消」数值难题,扩展分析还需考虑数值积分、矩阵计算与求解器精度。

所属事件:研究者揭示散度相等点附近的数值陷阱(2 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →