Recurrent Looped Transformer:循环传递状态突破Transformer计算深度限制
burkov · x · 2026-09-14
本文介绍新架构 Recurrent Looped Transformer（RLT），针对标准 Transformer 在需要长程计算任务上的三大短板：
- 状态重置问题：现有模型在 prompt-response 边界重置状态，导致 RL 中策略评估出现失配；
- 硬件利用率低：顺序依赖导致训练与推理时硬件利用不足；
- 潜在推理深度受限：无法支持更深层的迭代推理。
RLT 的核心设计：通过循环状态传递实现无界时间深度；将编码器与解码器角色分离以做硬件优化；并强制预训练、微调、采样、replay 使用完全相同的状态转移，从而支持可靠的 RL 扩展。
所属事件:RLT 循环 Transformer 开源：跨 token 递归实现无限深度(6 条相关)→
「研究」频道最新
- AI 时代何为「科学发现」？ICLR 2027 提案 SCOPE 研讨会聚焦争议 — mariyaivasileva · 2026-10-31
- 机器人操作新基准 MolmoSpaces-CommonSense:所有策略无一超过 30% — RanjayKrishna · 2026-10-31
- 用培养脑细胞做视频模型：mischief 1 上线，每秒仅 0.5 美分 — evilsocket · 2026-10-31
- 斯坦福 CS336 笔记:Percy Liang 讲透 Scaling Laws 的思维方式转变 — stanfordnlp · 2026-10-31
- VGGT 3D 模型微调新法：按纹理几何光照拆分可复用 LoRA 方向 — burkov · 2026-10-31
- Moondream 发布 RefCOCO-M：像素级掩码、清除问题标注的指代分割评测集 — victormustar · 2026-10-31