Fleuret 犀利观点:完美归纳偏置引发 loss 暴跌,被误读为 loss spikes

francoisfleuret · x · 2026-11-19

前 Meta 研究员 François Fleuret 抛出 hot take:完美的归纳偏置会导致 loss 急剧下降,而梯度下降把这种骤降「体感」为 loss spikes。由此他推出争议结论:整个社区正因为把这类 spike 当坏事,而回避了真正适合智能的模型。一个反直觉的训练动力学假说,值得讨论。

所属事件:Fleuret:完美归纳偏置引发loss暴跌被误读为尖峰(2 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →