Meta 提出首个联合循环与稀疏的 MoE 缩放律,推理效率提升约 2 倍
fly51fly · x · 2026-10-02
Meta AI 研究者发布论文《Scaling Laws for Looped Mixture of Experts》,提出首个同时建模循环(recurrence)与稀疏(MoE)的缩放律 Loop Scaling Laws,将两者与模型规模、数据量纳入统一框架。
- 核心是「有界、稀疏条件化的循环映射」,刻画 looping 带来的有效参数增益及稀疏性如何放大该增益
- 对 looped 模型 held-out loss 的预测优于既有缩放律,且能退化为标准 dense 与 MoE 缩放律
- 实证:稀疏带来约 3 倍活跃参数效率,循环在推理任务上带来约 2 倍总参数效率,两者结合进一步推进性能前沿
- 实用价值:在算力与内存约束下为设计 looped MoE 提供原则性依据;万亿 token 规模验证——同算力下,按缩放律推导循环次数的 looped MoE 在推理基准上匹敌约 2 倍大的非循环 MoE,还可通过循环实现测试时扩展
所属事件:Meta 发布首个循环与稀疏联合的 MoE 缩放律(3 条相关)→
「研究」频道最新
- TotalSegmentator 在常规胸 CT 中量出 42mm 扩张主动脉 — MaziyarPanahi · 2026-11-16
- Tivadar Danka 发布 4000 字图解机器学习所需图论长文 — TivadarDanka · 2026-11-16
- METR 任务时长曲线更新:Opus 4.5 后倍增周期缩至 1.7 个月 — ben_j_todd · 2026-11-16
- GTAgentClinic 一行命令安装,可让 Claude Code/Codex 接管 3D 医院夜班 — Michael_D_Moor · 2026-11-16
- 28 个主流模型训练截止日期盘点:近半数不公布,Gemini 4 Carbon 发布即落后 8 个月 — Joozio · 2026-11-16
- FutureSim Q3:LLM 从经验中真实变强,Opus 5.5 登顶 — rickasaurus · 2026-11-16