图解 Looped Transformer:6 个块跑 4 遍,权重不变让隐状态循环
TheTuringPost · x · 2026-11-17
Turing Post 图解 Looped Transformer 架构:同一个 Transformer 块(或堆叠)被多次执行,每轮输出作为下一轮输入。围绕循环流动的是隐藏状态——token 嵌入形成初始表示,共享堆叠通过注意力和前馈更新它,输出再喂回堆叠。配图对比:标准 24 块单次执行 vs 6 个块循环 4 次,同样 24 次块应用、相同有效深度,但无需为每轮配备独立权重,从而以更少参数换取更多计算。循环次数可固定或自适应停止,pass 之间不需要新文本 token。
「研究」频道最新
- 作者用 GPT 复现 ICLR 审稿意见,评分七度摇摆引争议 — anand_bhattad · 2026-11-17
- 研究者吐槽 AI 论文八股:一数 key/ensure,二数 risk-benefit 套话 — StephenLCasper · 2026-11-17
- MIT CSAIL 推出 TangiMap:用 AI Agent 为软件找回实体旋钮控件 — MIT_CSAIL · 2026-11-17
- Kaggle 首期访谈:SWE-bench 作者谈如何打造有影响力的评测 — OfirPress · 2026-11-17
- 「先找好表示再学习」:机器人堆数据路线的边界在哪 — KyleMorgenstein · 2026-11-17
- 机器人策略只用图像一小部分信息,高效提取关乎安全与效率 — KyleMorgenstein · 2026-11-17