LatentLoop:循环 MoE 非对称分配算力,同效省 19% 计算
Zefeng He · hf · 2026-10-15
针对循环 MoE(同一块参数多次复用)模型,研究者发现两次 loop 的作用并不对称:第一次访问的残差尺度更小,压缩它不影响甚至提升性能,而同样压缩第二次则明显伤害性能。
据此提出 LatentLoop:
- 压缩第一次访问的序列、第二次保留全分辨率,把省下的计算加到 hidden size
- 两次访问共享 MoE 权重,但用独立的 attention 参数适配不同序列分辨率
- 在 1.3B–7B、最大超 10^21 FLOPs 的 15 组配置中持续降低验证 NLL;在 NLL 1.988 下,相比普通 MoE 省 19.0% 计算、相比循环基线省 7.9%
结论:非对称算力分配是循环 MoE 的一个有前景方向。
「研究」频道最新
- 110页综述系统梳理自回归视频生成的记忆机制全景 — jiqizhixin · 2026-10-15
- Tinker 发布新优化器 Dimuon:LoRA 微调少步数下损失低于 AdamW — miramurati · 2026-10-15
- UW 提出 COUNT:用 n-gram 计数表扩展主存,1B 模型等效多 57% 算力 — UW · 2026-10-15
- Scale AI 发布 MA-Bench:借鉴军事任务规划测 LLM,最强模型也只答对 62% — Rodney Lafuente-Mercado · 2026-10-15
- 浙大等提出 ATAS 框架,用世界状态记忆让长视频生成跨镜头保持一致 — zju · 2026-10-15
- SNU 发布 HumanoidToolBench:18 任务评测人形机器人工具使用,真实 G1 数据 3.1k — snupilab · 2026-10-15