Tinker 推出 LoRA 微调优化器 Dimuon，SFT 少步数即超 AdamW
xennygrimmato_ · x · 2026-10-29
Thinking Machines 旗下 Tinker 平台发布专为 LoRA 微调设计的新优化器 Dimuon，官方称在 SFT 测试中常以更少步数达到比 AdamW 更低的 loss，现已在 Tinker 上线并征集反馈。
有人通过 API 逆向还原了 Dimuon 的更新规则：Dimuon = Muon + 三处改动——
- 加入延迟的对角条件化（基于上一动量的行/列缩放）
- 用 Polar Express 替代 Newton–Schulz
- 固定步长按 rank 设定
本质上是把 Muon 的正交化思路适配到 LoRA 微调场景。官方另附了优化器选择指南。
「研究」频道最新
- BlackboxNLP 口头报告：知识归因探测与 CoT 可监控性 — iatitov · 2026-10-29
- Ivan Titov 将在 BlackboxNLP 讲推理后训练：学新技能还是重塑旧能力 — iatitov · 2026-10-29
- 新研究解析 Muon 优化器为何有效:正交化更新或缓解事实记忆的学习失衡 — burkov · 2026-10-29
- BlackboxNLP 明日在 EMNLP2026 布达佩斯开幕，首场聚焦 LLM 如何阅读 — gsarti_ · 2026-10-29
- QUAN 论文：四元数卷积实数化，精度更高参数更少 — Bryce Grant · 2026-10-29
- Tim Vieira 详解条件泊松抽样：带交互验证的固定大小子集分布 — xtimv · 2026-10-29