逐帧真实梯度下降动画:α=0.6 折线穿越、α=0.3 沿谷滑行

ZeroStateReflex · x · 2026-11-17

@mathelirium 发布了一段梯度下降可视化动画,展示机器如何「走下坡」找到拟合数据的最优直线:以线性回归为例,代价函数 J(θ₀,θ₁)=1/(2m)Σ(h(xᵢ)−yᵢ)²,每步按 θⱼ := θⱼ − (α/m)Σ(h(xᵢ)−yᵢ)xᵢ 更新参数。

动画中两次运行从同一起点出发、在 14 个数据点上迭代:学习率 α=0.6 的轨迹在代价函数的窄谷之间来回折线震荡,α=0.3 则沿谷底平稳下滑,残差逐步缩小。每一帧都是真实计算出的梯度下降,梯度降到初始值的千分之一时铃响收尾。

作者感慨梯度下降简单到不可思议,却几乎驱动着整个现代 AI。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →