把旧金山地形变成损失景观：一个可玩的优化器可视化网站

CatAstro_Piyush · x · 2026-11-13

kaleybrauer 上线了 SF Hill Climbers 网站：把旧金山地形当作损失景观（海拔取负即 loss），SGD、Momentum、Adam、RMSprop、Muon、Nesterov、Lion 等优化器从任一地点出发“爬山”，可视化各自的吸引盆地（basins of attraction）。亮点包括：默认学习率下 SGD 的盆地几乎与地形本身一致，是很好的基线；Adam 因对东西/南北方向分别重缩放，对地图朝向敏感——旋转 30° 后从 Hayes Valley 出发会走到 Alamo Square 而非 Lafayette Park，作者指出这种轴各向异性在真实 LLM 训练中同样存在。可交互选择起点、赛跑对比、调节学习率滑块。