修复交叉熵可消除 grokking 尖峰,Adam eps=1e-8 恰好踩中 bug 阈值

jon_barron · x · 2026-10-24

Jon Barron 继续补充其 softmax/交叉熵修复的效果:修复 CE 能消除 slingshot 尖峰并加速 grokking。训练曲线对比图显示,标准 CE 的训练损失在 grokking 阶段反复震荡,而修复版平稳收敛,测试准确率也更快饱和。

更微妙的发现:weight decay 与 Adam 的 eps 会共同限制 logit 能长多大,而默认 eps=1e-8 恰好落在 fp32 下该 bug 触发点之后一点点——这可能解释了为什么有人认为过小的 eps 危险。第二张图展示了 Adam 步长在 logit margin 超过精度阈值后骤降为零的机制。