RLT 循环 Transformer 开源：跨 token 递归实现无限深度

研究者 Yifan Zhang 发布新型架构 Recurrent Looped Transformer（RLT），并开源代码与论文。该工作将热门的 looped transformer 架构从「循环层数」扩展到「循环 token」，针对标准 Transformer 在长程计算任务上的短板，是近期该方向的重要进展。

已确认

RLT 实现潜空间推理与无限深度，网络深度随序列长度线性增长。
架构包含两部分：因果编码器构建全局 KV 记忆；递归解码器将其与滑窗注意力（SWA）结合，在每个 prompt 与 response token 上递归运行，前一个 token 的最终隐状态成为下一个 token 计算的输入，潜空间计算贯穿每个输入与输出 token。
@techNmak 转述论文数据：一个 48 层 Transformer 的循环状态在处理 1000 个 token 后会形成 48,000 个块的历史路径；其起初以为是数字游戏，细看后确认属实。
@burkov 指出动机之一是现有模型在 prompt-response 边界重置状态，导致长程计算能力受限。
@rasbt（Sebastian Raschka）转评指出，该思路与 DeepSeek 的 encoder-decoder 全局 KV 缓存加循环 transformer 设计相似。
代码与论文均已开源（@1411337 与 @omarsar0 等亦转述了该项目在 GitHub 开源及其跨 token 循环设计）。

为什么重要

循环跨 token 的设计打破了 Transformer 固定深度的限制，深度随序列长度增长，为需要长程推理的任务提供了新路径；与 DeepSeek 类似思路的呼应也表明该方向正获得业界关注。

2026-09-13 ~ 2026-09-15 · 6 条相关

一手来源

循环 Transformer 跨 token 化:RLT 让网络深度随序列线性增长 — omarsar0 · 2026-09-14 01:12 北京时间
Recurrent Looped Transformer:循环传递状态突破Transformer计算深度限制 — burkov · 2026-09-14 14:49 北京时间
Recurrent Looped Transformer 新报告：循环跨 token 加全局 KV 缓存 — rasbt · 2026-09-14 02:15 北京时间

递归循环 Transformer RLT 开源：潜空间推理实现无限深度 — inductionheads · 2026-09-13
循环Transformer架构RLT:解码器递归跨token,深度无上限 — NandoDF · 2026-09-13
【源头】循环 Transformer 跨 token 化:RLT 让网络深度随序列线性增长 — omarsar0 · 2026-09-14
【源头】Recurrent Looped Transformer 新报告：循环跨 token 加全局 KV 缓存 — rasbt · 2026-09-14
【源头】Recurrent Looped Transformer:循环传递状态突破Transformer计算深度限制 — burkov · 2026-09-14
Recurrent Looped Transformer 论文：千 token 后循环状态路径达 48,000 层块 — techNmak · 2026-09-14