清华字节SMELT论文：层循环两次，省算力6.8%-18%
机器之心 · wechat · 2026-09-08
清华大学与字节跳动 Seed 等机构的论文 SMELT 首次在严格对齐算力、参数量和 KV cache 的条件下，公平评估了 Looped Transformer（重复执行部分层）的真实收益，回答了「收益来自架构还是多花算力」的争议。
论文给出的最优配方是：将中间约 50% 的层循环执行两次，并采用比常规模型更大的执行深宽比。在 100M 到 1.6B 激活参数（最大总参 54B）共 16 组匹配配置上，SMELT 全部取得更低验证损失；按 Chinchilla 式 Scaling Law 拟合，达到相同 loss 可节省 6.8%–18.0% 的训练算力，且预算越大节省越多。下游任务上，SMELT 在 96 组配置中的 83 组 DCLM 分数更高，且相同验证损失下仍优于基线，代码、长文本和依赖 in-context 示例的任务收益最大。
机制分析显示，第二次执行复用部分专家、对残差流做更大幅度修正，注意力位置与第一次高度重合（Q/K 余弦相似度 0.89–0.93）但读取内容不同；在 Dyck 语言任务中第二次执行把注意力从 BOS 转向答案位置，attention sink 反而减弱。局限在于消融规模有限、未涉及实际运行时效率。
「研究」频道最新
- 港科大联合腾讯 ARC 发布 Track4World：前馈模型追踪全部像素 3D 轨迹 — rsasaki0109 · 2026-09-08
- 论文揭示 agent 技能检索评测陷阱：整体变好，检索任务反而变差 — rohanpaul_ai · 2026-09-08
- 「创意禀赋效应」：人会舍不得放弃自己想出的烂点子 — yangyi · 2026-09-08
- OpenBMB 开源 UltraData-RL 数据集,中英双语问答回流 RL 训练 — openbmb · 2026-09-08
- IFM TxT360-v2 数据集登 HF 热榜,规模达 1B-10B 条 — IFM · 2026-09-08
- 武汉大学 KnowChange 用视觉语言模型合成遥感变化检测数据 — WuhanUniversity · 2026-09-08