DeepMind 论文：简单二次模型即可预测 LLM 训练 loss 尖峰
burny_tech · x · 2026-10-25
DeepMind 研究员 Ran Tian 与 Courtney Paquette 发表论文《Simulating Training Spikes of Deep Neural Networks by Layer-wise Random Feature Models》，研究 LLM 预训练中神秘的间歇性 loss 尖峰现象。
- 核心发现：使用带重尾/幂律分布输入的简单二次模型，即可复现这些尖峰，无需复杂的神经网络行为。
- 方法：提出一个逐层模拟算法，从 checkpoint 出发合成随机梯度来模拟各层训练动态，避免反复做全网络训练实验。
- 案例：在 1.3B 参数 Transformer 上，针对已知的 Adam 超参（β2 接近 1）易致尖峰配置，模拟成功预测出尖峰信号；每层在 CPU 上模拟仅需约 5 秒。
- 附加成果：从观测指标推导出合适的 β2 调度，实证上改善了训练表现。
论文还指出训练尖峰对初始化种子敏感、难以复现，单纯剔除「异常数据」只能部分解决问题——尖峰通常不是单个数据点造成的。
「Infra」频道最新
- Survival LLM：完全离线的应急 AI 助手，内置 150 万篇离线文章 — burny_tech · 2026-10-25
- SGLang 与 vLLM 竞速白热化，推理工程师连周末都没有 — AccBalanced · 2026-10-25
- CASPA峰会：芯片互连耗掉60-70%能源，AI芯片设计周期拟从24个月砍到9个月 — ai · 2026-10-25
- 4x5060Ti+4x3060+256GB 内存,混搭 8 卡跑 MoE 推理可行吗 — Ambitious_Fold_2874 · 2026-10-25
- Netflix 规模端到端知识图谱：本体驱动可观测性实践 — blaizedsouza · 2026-10-25
- 内存占 AI 机柜硅含量七八成，Rasgon 问若价格不崩会怎样 — firstadopter · 2026-10-25