NeurIPS 2026 论文:稀疏层是 Looped 语言模型规模化的关键
burny_tech · x · 2026-09-27
USC 博士生 Ryan Lee 的首篇论文《Sparse Layers are Critical to Scaling Looped Language Models》被 NeurIPS 2026 接收,arXiv 摘要已公开。论文对比了标准 Transformer、MoE 模型与循环(looped)结构的组合,得到两个主要结论:
- Looped-MoE 优于标准基线:稠密的 looped 模型规模化表现不如标准 Transformer,但 Looped-MoE 更好。原因是各次循环经过同一共享层时会激活不同专家(routing divergence),在不增加参数的情况下恢复了表达能力。
- 循环边界是理想早退点:由于每次循环结尾正好是产出最终输出的层,looped 模型在循环边界的早退(early exit)带来比标准模型更优的算力-质量权衡。
作者总结:带早退的 Looped-MoE 模型不仅能在规模上胜过标准 Transformer,还能显著节省内存与推理成本、质量损失极小,是通向 compute-adaptive LM 的一步。
「模型」频道最新
- 腾讯 Hy4 flash 与 internlm Sage-S2.1-Flash 同日发布,实测征集 — MajesticPuzzler · 2026-11-16
- 网友晒 Qwen 4 Max 生成珊瑚礁作品,模型名尚未官方发布 — intellectronica · 2026-11-16
- Devin 中现 stealth 模型 silicon-2,疑似 Anthropic 新模型 — kimmonismus · 2026-11-16
- Google AI Mode隐藏所用Gemini型号,Gemini 4 Carbon下放Pro用户 — gaganghotra_ · 2026-11-16
- 开源 Karpo-Decision-31B 单次前向出概率,登顶 Decision Index 超越 Gemini — CodeByPoonam · 2026-11-16
- AI 日报:DeepSeek 限额、千问砍价惹店公告、豆包工作台上线 — 快鲤鱼 · 2026-11-16