Meta 首个 Loop MoE Scaling Law:稀疏省 3 倍、循环省 2 倍算力
facebook · hf · 2026-10-01
Meta 提出 Loop Scaling Laws,首个同时建模「循环(recurrence)」与「稀疏(MoE)」两条效率路线的 scaling law:用有界、随稀疏度条件变化的循环映射刻画 looping 带来的有效参数增益及稀疏度如何放大该增益。该定律对 looped 模型 held-out loss 的预测优于既有方法,且能把标准 dense 与 MoE scaling law 作为特例恢复。实测显示:稀疏带来约 3 倍有效参数效率,循环在推理任务上带来约 2 倍总参数效率;在万亿 token 规模下,等训练算力时按定律设计的 looped MoE 可匹敌约 2 倍大的非 looped MoE,并支持通过循环做测试时扩展。
所属事件:Meta 发布首个循环与稀疏联合的 MoE 缩放律(3 条相关)→
「Infra」频道最新
- 芯片业铁律:出货量说了算,Intel 输在丢了需求 — TheKanter · 2026-11-16
- 台北101点亮「台湾❤️Jensen」,科技界集体声援黄仁勋 — liu_mingyu · 2026-11-16
- Nous 高管提醒:勿用 GPT 900k 变体,272k 后加收费用 — Teknium · 2026-11-16
- CUDA 矩阵乘法优化实战:从朴素实现干到 cuBLAS 93.7% 性能 — RisingSayak · 2026-11-16
- iPhone 上跑通 120B 模型:改 llama.cpp 从闪存流式加载 MoE 权重 — Chance-Resource-4970 · 2026-11-16
- tandem.cpp v0.3.0 让装不进显存的大模型预填充快 2-6 倍 — smflx · 2026-11-16