研究称二次模型可精准描述LLM预训练过程

一项最新研究发现，优化理论中最简单的二次模型能出人意料地精准描述大语言模型的预训练动态。研究团队对 150M 参数模型进行检查点线性化处理，发现局部泰勒展开能精准追踪真实损失。不过该结论存在局限：主要在预训练后期呈现结构化二次型特征，在训练早期及特定条件下并不完全适用。

2026-07-30 ~ 2026-07-31 · 3 条相关