Recurrent Looped Transformer 论文：千 token 后循环状态路径达 48,000 层块
techNmak · x · 2026-09-14
有人提出一种 48 层 Transformer,其循环状态在处理 1000 个 token 后会形成一条 48,000 个块(block)的历史路径——作者起初以为是数字游戏,细看后确认属实。
论文为 Recurrent Looped Transformer(RLT):解码器状态在整个序列中持续存活,prompt token 和生成 token 都会更新它,prompt 与回复的边界只是服务边界,不是不同的计算。
关键澄清:每处理一个 token,状态就多累积 48 次解码器块的转移,因此 t 个 token 后循环路径长 48t。但这不意味着第 1001 个 token 要执行 48,000 个块——单 token 的块数是固定的:在论文示例的 48 层编码器 + 48 层解码器结构中,每个 token 仍只评估 96 个编码/解码块(不含 merge 与 readout)。48,000 描述的是循环状态的演化深度,而非单步计算量。
所属事件:RLT 循环 Transformer 开源：跨 token 递归实现无限深度(6 条相关)→
「模型」频道最新
- Anthropic 递交纳斯达克上市申请，半年营收 163 亿美元同比增 12 倍 — DeepLearningAI · 2026-10-31
- ThursdAI 播客辩论:Opus 7 将至,「跑分变好」还重要吗 — thursdai_pod · 2026-10-31
- Swift 1.5 Flash Next 去审查逆向版新增多种量化，IQ4 精度换体积 — jjusko20 · 2026-10-31
- 14 个模型测 960 项分析师任务:做分析近满分,选股不如随机 — HeyAmit_ · 2026-10-31
- Anthropic 官宣：11月3日起 Claude 输出将带不可见文本水印 — petesena · 2026-10-31
- 四款 GPT-6 系列模型同台比拼像素画生成效果 — Angaisb_ · 2026-10-31