初始权重相差 10 个数量级，训练后网络仍在约 3% 输入上分歧
bravo_abad · x · 2026-11-08
Ly 与 Gong 的研究解释了深度学习为何对微小扰动如此敏感：两个神经网络从几乎相同的初始权重出发、经历完全相同的确定性训练流程，训练后仍在约 3% 的输入上给出不同预测；且把初始权重差距进一步缩小，分歧率几乎不变。
实验用 VGG 卷积网络以 SGD 在手写数字上训练（一半训练标签被故意污染），在初始差异跨越十个数量级变化时，预测分歧率始终稳定在约 2.9%。
作者从动力系统角度给出解释：导致不同结局的初始点可以在极细尺度上相互交织。配图展示的分形状相图与幂律拟合显示，这种「蝴蝶效应」式几何结构在极小尺度上依然存在。
「研究」频道最新
- Patronus 开源 GlobeBench:测 LLM 能否胜任 RL 训练模拟器 — mariyaivasileva · 2026-11-08
- 90 秒手算神经网络:一条推文讲透前向传播的数学 — HarperSCarroll · 2026-11-08
- 牛津学者发论文称 LLM 几乎无法发明，只有人类能做无数据的决策 — alex_verem · 2026-11-08
- 研究者:Opus 5.5 无人值守一天自动补齐预训练 scaling 实验 — RylanSchaeffer · 2026-11-08
- 每条命令后清空上下文,Claude Opus 4.5 仍达 SWE-bench 70.2% — cephaloform · 2026-11-08
- 训练 loss 尖峰后恢复，最终损失会更好还是更差? — francoisfleuret · 2026-11-08