泰勒近似可跟踪预训练损失
ShamKakade6 · x · 2026-07-09
Sham Kakade 预告了 ICML 2026 的报告，主题是泰勒定理在深度学习中能走多远，并考察局部二次近似在大模型预训练过程中到底能保持多准确。 他们在 1.5 亿参数模型上发现，这种近似可以在训练相当深的阶段仍然跟踪真实损失曲线，说明损失地形的局部结构可能比直觉中更稳定。
ShamKakade6 · x · 2026-07-09
Sham Kakade 预告了 ICML 2026 的报告，主题是泰勒定理在深度学习中能走多远，并考察局部二次近似在大模型预训练过程中到底能保持多准确。 他们在 1.5 亿参数模型上发现，这种近似可以在训练相当深的阶段仍然跟踪真实损失曲线，说明损失地形的局部结构可能比直觉中更稳定。