MuonH 负平方根学习率调度在基准上再快 75 步
liliang_ren · x · 2026-07-21
我们把 MuonH 搭配 minus-sqrt 学习率调度（\(1-\sqrt{t}\)）提交到 modded-nanogpt Track 3 基准上。
- 新调度把当前 MuonH 的最佳结果再推进了 75 个 step。
- 在这个设定下，峰值学习率几乎提高到原来的 两倍。
- 配图里的尾部收敛曲线显示，新方案在训练后段明显更快，优于之前的 MuonH 结果。
作者表示后续还会继续补充更多结果。
「研究」频道最新
- 斯坦福团队推出全球最快分词器 Gigatoken — StanfordAILab · 2026-07-22
- Tabul AI 推出 Metal TreeSHAP，加速 Apple silicon 上的 Shapley 计算 — Scobleizer · 2026-07-22
- Reddit 转发 OpenAI 的 ChatGPT 广告页面 — EcstaticAsparagus509 · 2026-07-22
- 开源 runtime 让每个仓库自定义 AI 代码审查器 — ibabufrik · 2026-07-22
- DeepSWE：专攻真实 GitHub 场景的 AI 编码智能体评测基准 — pmz · 2026-07-22
- Claude 辅助写成的 Rust 太空经济模拟器，能跑数百艘自治船只 — kalcode · 2026-07-22