arXiv 论文为 StopGrad 正名：无损失函数也能收敛到正确解
srush_nlp · x · 2026-10-23
arXiv 论文《How I learned to stop worrying and love StopGrads》(Max W. Shen、Mark Goldstein、Rajesh Ranganath 等)系统研究机器学习训练中广泛使用却常被随意 gloss over 的 stopgrad 操作。
核心问题:stopgrad 会改变梯度、驻点与收敛保证，使训练在理论上缺乏依据——参数实际上沿着一个可能根本不是任何损失函数梯度的向量场演化。
主要贡献:
- 提出 stopgrad 回归原理(stopgrad regression principle),给出 stopgrad 目标的通用模板，并闭式刻画驻点及其唯一性，统一了 flow map、强化学习、diffusion 采样器中的 stopgrad 目标
- 证明 stopgrad flow map 目标的唯一驻点就是真实 flow map,并给出 Eulerian 与 Lagrangian 目标(含 MeanFlow 与改进版 MeanFlow)的正向收敛结果
- 发现函数半梯度流下，学到的 flow map 有闭式表达：由初始 flow map 与真实 flow map 复合而成
- 基于该原理提出改进的 stopgrad 放置位置，可将训练显存开销降低 2 倍
转发者 Assaf Shocher 表示自己团队被 scoop 但心服口服：作者显式求解了理想化训练动力学，证明了即使没有底层损失函数也能收敛到正确解。
「研究」频道最新
- Anima Anandkumar 演讲：AI 气象模型胜超算，但不会取代科学家 — AnimaAnandkumar · 2026-10-23
- GLM-5.3-Flash 实现 1M token 上下文训练，较基线提升 64 倍 — AndrewLBeam · 2026-10-23
- 作者用布尔逻辑造 LM:前向传播单线程仅需几微秒但训练极慢 — cephaloform · 2026-10-23
- AdaDex:几秒人手视频即可教灵巧手学会抓取、抛接等可泛化技能 — mangahomanga · 2026-10-23
- ReAPO 论文:RLVR 中让模型在失败后重试,推理成绩与训练效率双升 — jasondeanlee · 2026-10-23
- 首个可跑在真实量子电路上的 JEPA 世界模型 Quantum-JEPA 发布 — DrMorganLevine · 2026-10-23