Fleuret:完美归纳偏置引发loss暴跌被误读为尖峰

前 Meta 首席 AI 科学家 François Fleuret 提出尖锐观点:恰当(完美)的归纳偏置会导致损失急剧下降,而梯度下降在学习过程中会将这种骤降表现为巨大的梯度范数尖峰,即所谓的 loss spikes。他据此认为,社区因误读这一现象而回避采用正确的智能模型,实际应重新审视训练中出现的梯度尖峰信号。

2026-11-19 ~ 2026-11-19 · 2 条相关