SkewAdam 把 6.78B MoE 优化器状态压到 1.29GB
Nuemaan Malik · hf · 2026-07-22
这篇论文讨论的是 MoE 训练里最占内存的部分之一：优化器状态该放在哪里。
作者提出 SkewAdam，把 MoE 参数分成三类分别处理：
- 稠密主干：保留 float32 momentum 和分解式二阶矩
- 专家层：只保留分解式二阶矩
- 路由器：保留精确二阶矩
在一个 6.78B 参数的 MoE 语言模型上，这种设计把优化器状态从 50.6 GB 压到 1.29 GB，峰值训练显存从 81.4 GB 降到 31.3 GB，因此可在 40GB 显卡上训练。
在 82M tokens 的受控实验里，SkewAdam 的验证困惑度达到 108.4，优于 AdamW（126.8）、Muon（120.2）和 Lion（393.7）。论文同时指出：节省内存主要来自分层分配，而精度收益主要来自保留 momentum。
所属事件:SkewAdam分层优化器大幅降低MoE训练显存(2 条相关)→
「Infra」频道最新
- Engram 随机读取不适合 SSD，CPU 内存低延迟共享或成正解 — bookwormengr · 2026-09-11
- 劝退帖:推理工程是真金白银的硬活,八成尝鲜者已悄然放弃 — abhijithneil · 2026-09-11
- Hugging Face《Ultra Scale Playbook》:GPU 集群训练 LLM 的免费技术书 — mdancho84 · 2026-09-11
- 从聊天到 Agent,推理延迟正在成为生产级瓶颈 — Euphoric_Sea632 · 2026-09-11
- 推理服务关键指标盘点:流式速度 TPOT 与可用性如何影响体验 — abhijithneil · 2026-09-11
- PlanetScale 推出分片 Postgres,768 台服务器组成 1PB 单库 — dhruv2038 · 2026-09-11