LatentLoop 论文：非对称算力分配让循环 MoE 省 19% 计算
pmttyji · reddit · 2026-10-23
论文提出 LatentLoop，探索循环 MoE 模型中的非对称计算分配：
- 发现：共享块被访问两次时，学习到的残差系数显示第一次访问尺度明显更小；固定系数实验表明压缩第一次访问保持甚至提升性能，而同样压缩第二次则有害。
- 方法：压缩第一次访问的序列、第二次保留全分辨率，把省下的算力转投更大 hidden size；跨访问共享 MoE 权重，但用独立 attention 参数适配不同序列分辨率。
- 结果：在 1.3B–7B 共 15 个配置、最大预算超 10^21 FLOPs 下，LatentLoop 一致降低验证 NLL；在拟合 NLL 1.988 处，相对普通 MoE 和循环基线分别节省 19.0% 和 7.9% 计算，且在九个基准的 0-shot/5-shot 平均分全面提升。
附 arXiv、GitHub、HuggingFace 与项目主页链接。
「Infra」频道最新
- 优化 PCIe 小消息 all-reduce 内核，DeepSeek-V4.1 推理解码提速 12% — AlpinDale · 2026-10-23
- 海上油气平台拟改建为 AI 数据中心，烧闲置天然气供算力 — clemnt · 2026-10-23
- 同为原生 UI:Swift 版 80MB 仅限 Mac,Zig 版 10MB 三端通吃 — jedisct1 · 2026-10-23
- 开源本地版 NotebookLM:SurfSense 全文档问答与文档编辑 Agent — FurtiveMirth · 2026-10-23
- PyTorch 新增 flex_gemm API:普通函数写 GEMM 融合 epilogue — tri_dao · 2026-10-23
- Meta 研究员：开源模型难追闭源，烂到根的基础设施是主因 — A_K_Nain · 2026-10-23