从偏导数到梯度下降:曲面陡峭度为何随方向变化
TinfoilTricorn · x · 2026-10-06
一条直观解释偏导数的科普帖:对 z = f(x, y) 的曲面,∂f/∂x 表示固定 y、只让 x 变化时的变化率,∂f/∂y 则相反,二者分别对应曲面上两条曲线(蓝线与红线)的斜率——这解释了为什么曲面的陡峭程度取决于行走方向。
作者进一步把它与机器学习联系起来:反向传播就是对每个权重在其余权重固定时求损失函数的偏导,而梯度下降的每一步都建立在这些偏导数之上。
「研究」频道最新
- 马志谦提议 arXiv 设终身百篇上限，马毅建议改为同时最多 10 篇 — YiMaTweets · 2026-10-06
- FlashDexRetarget:单个 RL 策略重定向人手演示,算力省约 100 倍 — KyleMorgenstein · 2026-10-06
- 斯坦福 ACE 团队推出 Sentry:失败知识常驻上下文反而拖累 Agent — StanfordAILab · 2026-10-06
- 从 Kaggle 冠军到 ULMFiT：Jeremy Howard 如何改写语言模型训练范式 — bigaiguy · 2026-10-06
- 在已后训练模型上再训练会「炸坏」模型：能力退化与 reality drift — Sauers_ · 2026-10-06
- PerturBot 用扰动训练打破视觉-语言-动作模型的捷径依赖 — Mingyu Liu · 2026-10-06