清华×字节 SMELT 论文:MoE 中层循环两次省 6.8–18% 训练 FLOPs
teortaxesTex · x · 2026-11-21
清华大学与字节跳动 Seed 的论文 SMELT(arXiv:2609.01343)系统研究了 looped Transformer 在严格对齐算力下的真实收益。此前多数评测在固定模型规模下对比,把架构优势与额外 FLOPs 混为一谈。
- 做法:将 MoE 中间一半层共享并循环两次,同时匹配基线的每 token FLOPs、非嵌入参数量与 KV cache
- 结果:在最大 54B 非嵌入参数的四个规模上拟合 Chinchilla 式 scaling law,SMELT 在 compute-optimal 前沿节省 6.8–18.0% 训练 FLOPs,且优势随规模增长
- 下游表现:增益超出验证损失所预测的幅度,在代码任务上最大,随样本长度和 in-context 示例数增加
- 机制分析:第二次前向降低了 attention sink,把注意力质量重新引向内容相关 token,这可能是增益的归纳偏应来源
结论:即使在预算严格匹配下,深度复用(looping)仍能带来可测量的收益,给出了可直接套用的配方。
「Infra」频道最新
- 华为算力平台论文渐多,Jack Clark 提及 AscendGym 值得关注 — willknight · 2026-11-21
- AWS 推出分布式 KV 缓存技能:自托管 LLM 成本降 40%、首 token 延迟降 80% — AWS ML Blog · 2026-11-21
- 博主:数据中心年化回报 80-100%,是地球上最值钱资产 — sudoraohacker · 2026-11-21
- 英伟达 33 个交易日蒸发 2.8 万亿美元市值,创史上最大纪录 — garrytan · 2026-11-21
- llama.cpp 发布 v1.0.0:3.5 年本地推理项目迎来首个正式版 — teortaxesTex · 2026-11-21
- Mistral 开源万亿参数多模态旗舰 Le Chonk,编码与防御安全领跑开放权重 — IAmSamFin · 2026-11-21