Toner：用激活统计 precondition 优化器，Muon 临界 batch size 提升约 2 倍
zhiyuanli_ · x · 2026-11-13
李志远（Zhiyuan Li）转发其学生 Amin 的新工作 Toner：一个通用规则，用每层输入激活统计（activation statistics）对优化器更新做 precondition，应用到 Muon 和 AdamW 上得到 MuonT 和 AdamT。实验显示可加速语言模型预训练，相比 Muon 将临界 batch size 提升约 2 倍，在大 batch 训练场景收益尤为可观。
「研究」频道最新
- 「Idea 盆地」：智能体为何困在旧思路里，各模型探索模式大不同 — AlexGDimakis · 2026-11-13
- OpenAI 用自动化红队训练 GPT-6,越狱抵抗力大幅超越上代 — fouadmatin · 2026-11-13
- SSD 自蒸馏法省 38–69% 训练 token,精度不降且遗忘更少 — heghbalz · 2026-11-13
- Inkling 2 Small 的 Attention Residual 结构被赞"优雅" — simonguozirui · 2026-11-13
- 9B 模型加思维链无效？开发者 6 个 LoRA 实测蒸馏推理困境 — SignificantZebra5883 · 2026-11-13
- 初始权重训练后依然可读：画进模型的笑脸 survive 全程训练 — danbri · 2026-11-13