Thinking Machines 发布 LoRA 微调新优化器 Dimuon

Thinking Machines 旗下 Tinker 团队发布了专为 LoRA 微调设计的新优化器 Dimuon。在监督微调(SFT)测试中,Dimuon 常常能在更少的步数内达到优于 AdamW 的效果,收敛速度更快,被视为有望取代 AdamW 成为 LoRA 微调的新选择。

2026-10-15 ~ 2026-10-15 · 2 条相关

• Thinking Machines 推出 Dimuon 优化器,LoRA 微调有望告别 AdamW — simonguozirui · 2026-10-15
• Tinker 推出 LoRA 微调新优化器 Dimuon,SFT 收敛快于 AdamW — simonguozirui · 2026-10-15