相同网络三随机种子实测：Adam 回归损失 0.033 vs SGD 0.442
cneuralnetwork · x · 2026-10-23
作者用 PyTorch 在回归和分类任务上系统对比 Adam 与 SGD 的收敛行为：初始权重相同、扫描多个学习率、每个设置跑 3 个随机种子。
关键结果
- Adam 在两个任务上都收敛明显更快；回归任务测试损失 Adam 0.033 vs SGD 0.442，差距超过一个数量级
- 学习率扫描显示 SGD 在所测范围内始终停在较高损失，Adam 则随学习率增大稳定下降
机制解释
- SGD 用统一学习率缩放每个梯度：θₜ₊₁ = θₜ − ηgₜ
- Adam 维护梯度与平方梯度的滑动平均（mₜ、vₜ），并用偏差校正估计更新：θₜ₊₁ = θₜ − ηm̂ₜ/(√v̂ₜ + ε)
- Adam 为每个参数自适应有效步长，因此能处理梯度量级差异很大的方向，这解释了其更快收敛
作者强调这不意味着 Adam 总是更优，但优化器本身就能显著改变训练动态。
「研究」频道最新
- FreshStack 检索基准更新：纳入 Cohere Embed v5 等新模型 — beirmug · 2026-10-23
- 海德堡 Kather 团队 ESMO 演讲:LLM 与 AI Agent 进军肿瘤学 — jnkath · 2026-10-23
- 9B 模型量化实测:70% 损伤集中在前 8 层,困惑度看不见尾部风险 — DinnerPrestigious953 · 2026-10-23
- GenReasoning 团队复盘:半年攻关、保持精简、从不投付费推广 — rosstaylor90 · 2026-10-23
- 3.3 万星 GitHub 项目 ML-From-Scratch 用纯 Python 手写经典机器学习算法 — techNmak · 2026-10-23
- 开发者将 Anthropic 形式验证所用 RISC-V 模型从 Rocq 移植到 Lean — xennygrimmato_ · 2026-10-23