KAN 作者新论文: loss spike 可预测, 二次损失图景被推翻
ZimingLiu11 · x · 2026-11-01
KAN 论文作者、MIT 博士后 Ziming Liu 发布关于 LLM 训练 loss spike 的新研究：团队发现 loss spike 是可以预测的。两个核心发现：1）「spiky」只是 (β₁, β₂) 优化器参数平面上的一个相，被夹在两个稳定相之间；2）传统用于解释 spike 的「二次损失」图景严重错误——实际观察到的是 core-wall-rollover（核-壁-翻转）的损失地形。帖子附解释视频与论文链接，是 MetaCircle AI Research 系列展示的一部分。
所属事件:KAN 作者刘子鸣新论文：loss spike 可预测，二次损失图景被推翻(10 条相关)→
「研究」频道最新
- 谷歌 Willow 量子芯片 5 分钟完成超算需 10^25 年的计算 — ChuckDBrooks · 2026-11-04
- 生成式长视频漂移问题的新思路：让每帧看到全片 — mangahomanga · 2026-11-04
- Reddit 研究者征集 Chinchilla 缩放定律小规模复现实验经验 — turing-math-labs · 2026-11-04
- TLAPS-Bench 发布:265 个真实系统证明目标,GPT-6.1 Sol 仅解出 44.3% — tianyin_xu · 2026-11-04
- StreamDuo 让游戏解说 AI 看懂没玩过的游戏,实体召回提升近 30% — Zixian Gao · 2026-11-04
- Redwood 研究员析递归自我改进：AI 研究自动化与失控加速可以拆开看 — deanwball · 2026-11-04