循环Transformer架构RLT:解码器递归跨token,深度无上限
NandoDF · x · 2026-09-13
论文提出 Recurrent Looped Transformer(RLT),一种新型架构:
- 核心机制:解码器在每个 prompt 与 response token 上递归运行,前一个 token 的最终隐状态成为下一个 token 解码计算的输入;因果编码器构造可复用的全局 KV 记忆,配合层内滑动窗口注意力(SWA)缓存。
- 效果:序列越长,潜在计算路径越深,但不增加物理层数——每个 token 只用固定数量的 block,实现无固定深度上限的潜空间推理。
- 三个设计原则:无界时间深度的潜空间推理、模型-硬件协同设计(并行编码与递归解码分离,支持跨序列 batch、内存复用与 checkpoint 训练)、模型-RL 算法协同设计。
- RL 一致性:预训练、SFT、rollout 采样与当前策略回放共用同一状态转移;精确回放在当前参数下重建状态,而非复用过期的 rollout 状态,消除 prompt 边界对策略定义的影响。
作者称这为硬件感知的递归执行与可靠的 RL scaling 提供了具体基础。
所属事件:循环Transformer架构RLT开源，潜空间推理深度无上限(2 条相关)→
「Infra」频道最新
- 「Hugging Bay」上线:索引约 14.9 万公开 AI 模型,附许可证与 SHA-256 哈希 — johnseach · 2026-09-13
- 西南航空全面部署 Starlink,2026 年底将覆盖 300+ 架飞机 — XFreeze · 2026-09-13
- 观点：算力才是 AI 进步瓶颈，OpenAI 花数百万美元算力攻克千禧年大奖难题 — haider1 · 2026-09-13
- 39 美元开源 KVM JetKVM Mini 上市,可让 AI agent 突破系统层控制 — cheerfulboy · 2026-09-13
- 本地跑大模型怎么选:四大开源模型家族的实战选型指南 — anant94 · 2026-09-13
- 英伟达回应「循环融资」质疑：每投 1 美元带回 100 美元 — mgh2 · 2026-09-13