Thinking Machines 推出 Dimuon 优化器:LoRA 微调比 AdamW 更快收敛

clarejtbirch · x · 2026-10-15

Thinking Machines(Tinker API)发布新优化器 Dimuon,是 Muon 的变体,专为 LoRA 微调设计。在 SFT 测试中,它常能以更少步数达到比 AdamW 更低的 loss。团队仍在持续实验,用户现在即可在 Tinker 上试用并反馈。John Schulman 曾表示「花算力来省客户的算力」有多种方式,这就是一例。

所属事件:Thinking Machines 发布 LoRA 优化器 Dimuon(4 条相关)→

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →