Jon Barron 揭出 softmax/交叉熵实现双 bug,KL/JSD 也有同类问题
LotfiSanae · x · 2026-11-17
- Jon Barron 宣布发现 softmax 与 soft cross-entropy 的所有现有实现(JAX、PyTorch、教科书等)都存在两个微妙 bug,简单重写即可修复,并消除 grokking 中的 "slingshots" 现象。
- Brandon Amos(Reflection AI)随后发布论文《On numerical issues of divergences between nearly equal distributions》(arXiv:2611.18511),指出同类数值问题也存在于标准散度运算:前向/反向 KL 散度、广义 Jensen-Shannon 散度(JSD)、Monte Carlo KL 估计和熵。
- 问题根源:当两个分布几乎相等时,舍入与相消(cancellation)误差会影响前向计算和梯度;这类 bug 可能已在知识蒸馏、强化学习、proximal 方法等使用散度的优化目标中潜伏多年。
- 论文为每种场景给出数值稳定的重写公式与示例实现,并用基于性质的测试验证。
「研究」频道最新
- Brandon Amos 论文:KL/JSD 等散度运算存在与 softmax 同类的数值隐患 — brandondamos · 2026-11-17
- Recursive Transformers 论文入选 EACL 2027 主会,小数据场景榨出更多性能 — windx0303 · 2026-11-17
- 亚马逊开放 2027 自动推理方向博士生实习,涉 AI 安全与形式化验证 — AlexKontorovich · 2026-11-17
- Weaviate 发布重排序检索扩展研究报告,代码同步开源 — CShorten30 · 2026-11-17
- OneSteer:一步扩散全身控制器让 Unitree G1 钻 1.1 米低杆 — Yifei Huang · 2026-11-17
- brandondamos 指出分布散度计算在相等点附近仍藏数值陷阱 — brandondamos · 2026-11-17