高维损失地形可视化：为何局部极小值罕见、SGD 有效
danielrock · x · 2026-11-15
一条直观的 SGD（随机梯度下降）可视化动图引发讨论，配文解释了深度学习成功为何反直觉：
- 直觉上「维度越高、所需训练数据越多」（维数灾难），但高维非凸损失地形中局部极小值其实非常罕见，更常遇到的是鞍点
- 这正是 SGD 有效的原因之一：mini-batch 采样引入的随机性能帮助优化过程逃出鞍点和平坦区域，而非卡死
原帖附可视化演示，被引用者认为这解释了「为什么 LLM 的出现成为可能」。
「研究」频道最新
- Google 新团队 AIS 发布 DuoDiscover：内核平均提速 4.09 倍 — VioletNPeng · 2026-11-15
- RL 后训练能否让 LLM 学会组合推理技能？论文入选 NeurIPS 2026 — yifeiwang77 · 2026-11-15
- EmbeddingGemma 2 训练揭秘：分阶段蒸馏 Gemini，嵌入尺寸最低压到 128 — gabriberton · 2026-11-15
- EmbeddingGemma 2 登 HuggingFace 热榜第一，非 LLM 模型罕见霸榜一周 — gabriberton · 2026-11-15
- 上海交大提出 Value as Memory,给机器人策略装上任务进度记忆 — jiqizhixin · 2026-11-15
- Genesis 团队发布 Eden：机器人学习框架，任务构建快 1.6-4 倍 — zhou_xian_ · 2026-11-15