图解 Looped Transformer:6 个块跑 4 遍,权重不变让隐状态循环

TheTuringPost · x · 2026-11-17

Turing Post 图解 Looped Transformer 架构:同一个 Transformer 块(或堆叠)被多次执行,每轮输出作为下一轮输入。围绕循环流动的是隐藏状态——token 嵌入形成初始表示,共享堆叠通过注意力和前馈更新它,输出再喂回堆叠。配图对比:标准 24 块单次执行 vs 6 个块循环 4 次,同样 24 次块应用、相同有效深度,但无需为每轮配备独立权重,从而以更少参数换取更多计算。循环次数可固定或自适应停止,pass 之间不需要新文本 token。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →