研究员认为矩阵优化器之间 CE 差距仅 5-10%

_arohan_ · x · 2026-11-13

Tarun Kathuria 提出观点：各类矩阵优化器（如 Muon、Shampoo 系列）之间的 cross-entropy 差距大概率在 5-10% 以内。但某些优化器在叠加额外机制时更有优势——比如 Hyperball、row leverage scores；优化矩阵/张量的设计空间本身也会让不同优化器表现分化，Shampoo 族在这一点上比 Muon 更通用。由 arohan 转发。

原文链接 →

「研究」频道最新

• François Fleuret 质问：EMA 归一化为何不如 batch 归一化流行 — francoisfleuret · 2026-11-13
• RL 框架 Miles v0.2 发布:支持 NVIDIA/AMD/TPU/Trainium 四种硬件 — ying11231 · 2026-11-13
• 开源机器人学习书发布规划新章：详解 CEM 等采样式规划器 — GlenBerseth · 2026-11-13
• 14 分钟视频还原 ChatGPT 一次问答之旅:从回车键到 GPU 再返回 — Glass-Garden-5888 · 2026-11-13
• Reddit 发起开源实验:用强模型纠错弱模型的输出训练纠错 LoRA — Friendly-Fig-6015 · 2026-11-13
• Burkov 周刊：94% 英国学生用 AI 做作业，CUDA Rust 等十条精选 — burkov · 2026-11-13

更多「研究」频道 AI 资讯 →