实测梯度裁剪：5 次不裁剪全在 17 步内发散，裁剪后全部收敛
cneuralnetwork · x · 2026-10-24
作者用 PyTorch 训练了一个刻意不稳定的 RNN（初始权重、数据、学习率完全相同，5 个随机种子重复），对比有无梯度裁剪的效果：
- 不裁剪：5 次运行全部在 17 步内发散
- 梯度范数裁剪到 1.0：5 次全部跑满 320 步，验证损失中位数 0.043
- 裁剪到 5.0：效果差得多，验证损失明显高于 1.0 组
- 直接把学习率降到 0.005：不裁剪也不发散
数学上裁剪只是缩放梯度：gclipped = g × min(1, c / ||g||₂)，即限制梯度幅值而不改变方向。实验中 clip 1.0 时 94.7% 的步数触发了裁剪。核心结论：控制参数更新的幅值就能彻底改变训练动态，且裁剪阈值选得宽松（5.0）效果有限。
「研究」频道最新
- 手机视频1小时建物理孪生：Berkeley与NVIDIA开源RoboSimStudio — lukas_m_ziegler · 2026-10-24
- 社会科学方法论观点:安慰剂观测量法暗示 IQ 测量可能有问题 — RexDouglass · 2026-10-24
- 「LLM 作为人类代理人」研究登 Nature 子刊十月刊封面 — iyadrahwan · 2026-10-24
- 美国能源部 Genesis Mission 已列 297 个项目并将开源基础模型 — ingliguori · 2026-10-24
- Kornia 0.9.0 发布：新增约定页专治 LLM 写代码的隐性 bug — kornia_foss · 2026-10-24
- Fleuret:teacher forcing 把时间迭代变成深度迭代让 GPU 高兴 — francoisfleuret · 2026-10-24