Thinking Machines 推出 Dimuon 优化器,LoRA 微调有望告别 AdamW
simonguozirui · x · 2026-10-15
Thinking Machines(Tinker 平台)发布了为 LoRA 微调打造的新优化器 Dimuon。在其 SFT(监督微调)测试中,Dimuon 常常能用更少的步数达到比 AdamW 更低的 loss,官方表示仍在实验中,用户现在就可在 Tinker 里试用并反馈。
Tinker 文档同时更新了优化器指南,涵盖:
- AdamW(默认)与 Dimuon 两种选择,创建训练客户端时指定,生命周期内固定
- 分别对应 AdamParams 与 DimuonParams 超参对象
- 学习率选择指引与训练中途切换优化器的说明
标题里「der LoRA, das Ende von AdamW」虽带玩梗性质,但这是 Muon 系优化器落地 LoRA 微调场景的早期实证,对微调工程有直接参考价值。
所属事件:Thinking Machines 发布 LoRA 微调新优化器 Dimuon(2 条相关)→
「研究」频道最新
- DecisionRobust 基准:评测 30 个决策模型抗 prompt 注入与扰动能力 — Yifan Lan · 2026-10-15
- 卢森堡大学提出 Continuum Attention:连续积分替代离散注意力,性能全面胜出 — Afshin Khadangi · 2026-10-15
- 研究团队公开质疑大厂论文与其 ARTS 工作概念重叠且未引用 — xwang_lk · 2026-10-15
- RootPath 发布 BinderVerse:AI 设计 binder 3 天出湿实验数据 — iskander · 2026-10-15
- arXiv 新论文:无约束原子间势学习存在指数级理论极限 — CatAstro_Piyush · 2026-10-15
- 新论文：机器学习势可跨量子化学方法迁移，精度超越训练方法本身 — CatAstro_Piyush · 2026-10-15