循环Transformer架构RLT:解码器递归跨token,深度无上限
NandoDF · x · 2026-09-13
论文提出 Recurrent Looped Transformer(RLT),一种新型架构:
- 核心机制:解码器在每个 prompt 与 response token 上递归运行,前一个 token 的最终隐状态成为下一个 token 解码计算的输入;因果编码器构造可复用的全局 KV 记忆,配合层内滑动窗口注意力(SWA)缓存。
- 效果:序列越长,潜在计算路径越深,但不增加物理层数——每个 token 只用固定数量的 block,实现无固定深度上限的潜空间推理。
- 三个设计原则:无界时间深度的潜空间推理、模型-硬件协同设计(并行编码与递归解码分离,支持跨序列 batch、内存复用与 checkpoint 训练)、模型-RL 算法协同设计。
- RL 一致性:预训练、SFT、rollout 采样与当前策略回放共用同一状态转移;精确回放在当前参数下重建状态,而非复用过期的 rollout 状态,消除 prompt 边界对策略定义的影响。
作者称这为硬件感知的递归执行与可靠的 RL scaling 提供了具体基础。
所属事件:RLT 循环 Transformer 开源：跨 token 递归实现无限深度(6 条相关)→
「Infra」频道最新
- AI 烧钱加深自由现金流缺口，微软靠发债 250 亿美元守住正值 — Kr00ney · 2026-10-31
- Google 太空数据中心首次跑通:轨道 TPU 完成 Gemma 推理并回传 — ns123abc · 2026-10-31
- Google Cloud 花费上限正式上线：新增 API、实时成本报告与每月自动重置 — rseroter · 2026-10-31
- Swift 1.5 Flash Next 去审查逆向版新增多种量化，IQ4 精度换体积 — jjusko20 · 2026-10-31
- ClickHouse 曝未认证远程代码执行漏洞 CVE-2026-116366 — Hacubu · 2026-10-31
- 批量合并提问只读一遍文档,可大幅降 LLM 分类成本与延迟 — petrusenko_max · 2026-10-31