清华×字节 SMELT 论文:MoE 中层循环两次省 6.8–18% 训练 FLOPs

teortaxesTex · x · 2026-11-21

清华大学与字节跳动 Seed 的论文 SMELT(arXiv:2609.01343)系统研究了 looped Transformer 在严格对齐算力下的真实收益。此前多数评测在固定模型规模下对比,把架构优势与额外 FLOPs 混为一谈。

结论:即使在预算严格匹配下,深度复用(looping)仍能带来可测量的收益,给出了可直接套用的配方。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →