循环模型设计拆解:只循环中间层,等效算力增益近两倍
对变长循环模型的结构拆解显示,其核心做法是只循环带 attention residual 的中间 block,首尾层保持单次执行,直觉是首尾层并不需要重复计算,算力等效增益达 1.51-1.91 倍。训练细节方面,训练从稀疏度 48(384 个专家选 8 个)开始,midtraining 阶段剪掉约三分之二专家,发布版仅为训练时约 1/3 规模,随后补 1T token 蒸馏恢复性能。
2026-11-21 ~ 2026-11-21 · 2 条相关
- 循环 Transformer 设计细节:只循环中间层,算力等效增益 1.51-1.91 倍 — nrehiew_ · 2026-11-21
- 发布版仅用训练时三分之一专家:剪枝后再补 1T token 蒸馏恢复性能 — nrehiew_ · 2026-11-21