论文揭示 LLM 预训练中推理能力不稳定,反复在浅层启发式与泛化计算间跳跃
thomasahle · x · 2026-10-12
Jiaxin Wen、Zhengxuan Wu、Dawn Song 与 Lijie Chen 的论文《Generalization Dynamics of LM Pre-Training》发现:LLM 在预训练过程中并不能稳定地保留推理能力,而是在浅层模式匹配启发式与可泛化计算之间反复、突然地跳跃——即便预训练损失和下游能力曲线看起来平稳。
据论文配图,作者区分了三种泛化动力学类型(频繁震荡型、持续震荡型、稀疏尖峰型),并对比大模型与小模型的表现,标注 Chinchilla 最优训练点:表面指标(loss、涌现能力曲线)稳定并不代表内部计算方式已收敛为泛化解。
「研究」频道最新
- 陶哲轩:AI 让证明变廉价,数学家的新工作是想象力 — burny_tech · 2026-10-12
- EMNLP 论文:按主机采样式爬取可多收数倍高质量预训练页面 — metehan777 · 2026-10-12
- Ethan Mollick：赛博格研究者正迅速主导数学研究 — TinfoilTricorn · 2026-10-12
- AI 证算是暴力破解还是真智能,X 上的争论 fusillade — teortaxesTex · 2026-10-12
- OpenAI 论文宣称证明 π 无理性指数恰为 2,355/113 已近极限 — TinfoilTricorn · 2026-10-12
- Nature：字节化改造让 LLM 终于能数对单词里的字母 — PontiEdoardo · 2026-10-12