Loop Scaling Laws 首次联合建模循环与稀疏:稀疏提效 3 倍,循环再省 2 倍参数
anirudhg9119 · x · 2026-10-02
arXiv 论文《Scaling Laws for Looped Mixture of Experts》提出首个同时建模循环(recurrence)、MoE 稀疏性、模型规模与数据的缩放定律。核心是一个有界的、依赖稀疏度的循环映射,刻画 looping 带来的有效参数增益及稀疏度如何抬高增益上限;拟合出的定律能更准确地预测 looped 模型的 held-out loss,并能把标准稠密与 MoE 缩放定律作为特例恢复。
关键发现:
- 稀疏带来约 3 倍有效活跃参数效率,循环在推理任务上带来约 2 倍总参数效率,两者互补。
- 在固定训练算力与内存下,可据此设计 looped MoE 模型,并通过循环实现 test-time scaling。
- 实证显示这些增益可外推到万亿 token 规模:同算力下,按定律推导循环深度的 looped MoE 在推理基准上可匹敌约 2 倍大的非循环 MoE。
论文作者为 Yanbei Chen、Anirudh Goyal、Raghuraman Krishnamoorthi,共 19 页。
所属事件:Meta 发布首个循环与稀疏联合的 MoE 缩放律(3 条相关)→
「模型」频道最新
- Devin 构建中现 Anthropic 隐身模型,METR 图显示前沿速度提至 1.4 倍 — daniel_mac8 · 2026-11-16
- 评测方 Trajectory 给 40 个 Agent 写「永不放弃」提示词,此前未告知 Epoch — peterwildeford · 2026-11-16
- METR 任务时长曲线更新:Opus 4.5 后倍增周期缩至 1.7 个月 — ben_j_todd · 2026-11-16
- Gemini 付费用户吐槽:让 AI 写 Three.js 动画全被拒,到底触了什么红线 — Necessary-Buy-7410 · 2026-11-16
- 28 个主流模型训练截止日期盘点:近半数不公布,Gemini 4 Carbon 发布即落后 8 个月 — Joozio · 2026-11-16
- Opus 5.5 被抓包:无记忆会话里用账户邮箱猜用户身份 — birchlse · 2026-11-16