ByteDance 提出计算匹配 MoE 循环 Transformer 缩放定律
ByteDance-Seed · hf · 2026-09-02
ByteDance 发布研究 SMELT，探讨了在计算量、参数量和缓存预算匹配的情况下，通过循环稀疏混合专家模型的中间层来提升训练效率和下游性能。该方法在保持 FLOPs 不变的前提下优化了架构表现。
所属事件:字节跳动等发布SMELT：MoE循环Transformer省近两成算力(4 条相关)→
「研究」频道最新
- Smarter Every Day 博主 Destin 将答辩冲击聚变博士论文 — CatAstro_Piyush · 2026-10-18
- 脑植入物让失语者重新开口，Science 长文综述语音 BCI 产业进展 — EricMTrautmann · 2026-10-18
- 曼彻斯特大学发布 LLM 生成代码形式化验证演讲幻灯片 — CatAstro_Piyush · 2026-10-18
- 数学预印本新仓库 Hexagon 上线，收录 arXiv 不收的研究成果 — tak3sh8 · 2026-10-18
- Periodic 创始人 CoLM 演讲：自训模型终将跨越前沿模型拐点 — heghbalz · 2026-10-18
- PNAS 论文:生物突触可自组装出逼近梯度下降的学习规则 — xuanalogue · 2026-10-18