循环 Transformer 设计细节:只循环中间层,算力等效增益 1.51-1.91 倍

nrehiew_ · x · 2026-11-21

nrehiew 继续拆解变长循环模型的结构设计:核心做法是只循环中间的 block(带 attention residual),首尾层保持单次执行——直觉是模型首尾层并不真正参与推理,而负责 embedding 与内部表征转换;残差则充当门控,把初始输入与每轮循环的输出混合。

配套实验支持这一设计:Inkling 2 Mini 共 24 层分 4 个 block,两个中间 block 循环 3 次,在 28 项评测中有 27 项上,循环中间 12 层的精度增益大于循环后 12 层;算力等效对比显示中间层循环(7-18 层)值 1.51-1.91 倍算力,而循环最后 12 层只有 1.24-1.36 倍。

所属事件:循环模型设计拆解:只循环中间层,等效算力增益近两倍(2 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →