SkewAdam 把 6.78B MoE 优化器状态压到 1.29GB
Nuemaan Malik · hf · 2026-07-22
这篇论文讨论的是 MoE 训练里最占内存的部分之一：优化器状态该放在哪里。
作者提出 SkewAdam，把 MoE 参数分成三类分别处理：
- 稠密主干：保留 float32 momentum 和分解式二阶矩
- 专家层：只保留分解式二阶矩
- 路由器：保留精确二阶矩
在一个 6.78B 参数的 MoE 语言模型上，这种设计把优化器状态从 50.6 GB 压到 1.29 GB，峰值训练显存从 81.4 GB 降到 31.3 GB，因此可在 40GB 显卡上训练。
在 82M tokens 的受控实验里，SkewAdam 的验证困惑度达到 108.4，优于 AdamW（126.8）、Muon（120.2）和 Lion（393.7）。论文同时指出：节省内存主要来自分层分配，而精度收益主要来自保留 momentum。
所属事件:SkewAdam分层优化器大幅降低MoE训练显存(2 条相关)→
「Infra」频道最新
- Anthropic 营收三年暴涨 4000 倍,上半年已入账 163 亿美元 — daniel_mac8 · 2026-10-27
- Tenstorrent 芯片跑通蛋白质生成模型,宣称无 HBM 短缺之忧 — gajesh · 2026-10-27
- YC 系创企 Hopper 出击语音推理：TTFT 80ms、价格为 GPT-4.1 的 15% — ycombinator · 2026-10-27
- a16z 数据:A100 租赁价格 2026 年仍在涨,旧卡并未贬值 — VraserX · 2026-10-27
- Anthropic S-1 曝超 8000 亿美元未入表的未来算力承诺 — GaryMarcus · 2026-10-27
- Anthropic 约 11GW 算力合同中 NVIDIA GPU 占约 42% — ns123abc · 2026-10-27