普林斯顿等提出 RLT：循环解码器让 Transformer 长序列外推大幅提升
TheTuringPost · x · 2026-10-17
普林斯顿大学与宾夕法尼亚大学提出 Recurrent Looped Transformer(RLT),用于解决状态跟踪类任务中 Transformer 每 token 计算深度固定、不随序列长度增长的问题。
架构思路
RLT 把 8 层拆成两部分:
- 因果编码器:并行处理已知 prompt token,构建可跨解码层共享的 KV 缓存(input memory);
- 循环解码器:在每个 token 处将当前编码器输出与上一 token 的解码器状态合并,更新并向前传递运行状态,使计算链随序列变长而变深,单 token 成本固定。
关键结果(训练序列不超过 40 bit):
- 奇偶校验外推到 256 bit 达 100% 准确率,基线 Transformer 仅随机水平;
- swap 式 S5 置换跟踪在 8 倍训练长度下达 97%,Transformer 不足 1%;
- 模长算术外推最高 93%,基线 33%。
消融发现
- 不同任务偏好不同的层分配:读入与更新各占多少层,可能和总深度一样重要;
- 移除反馈会显著损害 parity 与 swap 任务;
- 将反馈改为每 4 token 更新一次,可让已知 token 并行处理且 parity 保持 99%,但置换跟踪从 100% 跌到 20%,说明后者依赖逐 token 反馈。
项目页:github.com/yifanzhang-pro/recurrent-looped-tranformer
所属事件:普林斯顿等提出 RLT：循环 Transformer 大幅提升长序列外推(2 条相关)→
「研究」频道最新
- StepSafe 论文提出步级安全护栏：让 agent 监测器学会及时干预 — armancohan · 2026-10-17
- Sakana AI Scientist v3 发布：并行 agent 编排完整科研闭环 — hardmaru · 2026-10-17
- 新算法将 (min,+) 矩阵乘法指数降至 2.9964，超越 Anthropic 突破 — thegautamkamath · 2026-10-17
- 「可解释性解决了吗」大讨论:模型越大规模越难完全理解 — NeelNanda5 · 2026-10-17
- 新思路：用 LLM 把训练好的模型分解成普通代码？ — tszzl · 2026-10-17
- 字节Seed提出Data-Space迭代，少步生成质量超标准蒸馏基线 — _akhaliq · 2026-10-17