防训练崩溃的简单修法：只在LM头把AdamW换成动量SGD
micahgoldblum · x · 2026-11-03
Goldblum 线程第 10 条：给出修复方案——只在 LM 头用动量 SGD，其余仍用 AdamW。SGD-M 保留了梯度的零和结构，避免 Adam 引起的平均输出嵌入漂移。引用上下文指出 FP32 下输出 logit 仍增长但 loss 不发散，而 BF16 中 logit 与预测分布的量化误差会在失败前增长数个数量级。
「研究」频道最新
- D&A 方法零训练把任意机器人视频变成现成 reward model — KyleMorgenstein · 2026-11-04
- WhatIf-Bench 揭示时序模型外推短板：遇到新情景成绩跌至-7%~50% — irinarish · 2026-11-04
- 不止编排工具：新系统让 Agent 自主改造科学发现循环本身 — yusufroohani · 2026-11-04
- 作者展望：计算场景的闭环发现平台将走向物理实验 — yusufroohani · 2026-11-04
- 自主分子发现系统 Locus：让 AI 自己改造科学基础模型 — yusufroohani · 2026-11-04
- Locus 系统实证：改写 Boltz-2 适配新化学系列，用 ESM 设计抗体 — yusufroohani · 2026-11-04