递归循环 Transformer RLT 开源：潜空间推理实现无限深度
inductionheads · x · 2026-09-13
研究者 Yifan Zhang 发布 Recurrent Looped Transformer（RLT）并开源代码与论文。RLT 让潜空间计算贯穿每个输入与输出 token：因果编码器构建全局 KV 记忆，递归解码器将其与滑窗注意力（SWA）及上一层最终隐藏态的反馈结合。
- 无限时间深度：解码器深度为 LD 时，t 个 token 后递归路径相当于经过 t×LD 个模块，而每 token 执行的模块数固定；
- 模型-硬件协同设计：并行因果编码、跨序列批处理、显存复用与激活检查点等手段支撑高效训练推理；
- 作者还强调与 RL 算法的结合，并称这标志着「超级智能的黎明」，主张前沿进展应放缓节奏直至实现安全的超级智能。
仓库包含英文与中文论文 PDF、项目主页，目前约 32 star，属早期发布。
所属事件:RLT 循环 Transformer 开源：跨 token 递归实现无限深度(6 条相关)→
「研究」频道最新
- 新论文「Heads Of Security」：定位注入攻击注意力头并改写其模式 — jonasgeiping · 2026-10-31
- UMass 团队发布 BATv1：3429 个转录因子结合 ChIP-seq 模型图谱 — jmschreiber91 · 2026-10-31
- UCLA 推出 ChairNav：会学习乘客偏好的自主导航轮椅 — zhoubolei · 2026-10-31
- 合成数据重写该花多少算力？新研究用 scaling laws 给出答案 — ChengleiSi · 2026-10-31
- 花叔开源全球 11064 种鸟类贴纸库,AI 画图消耗超 10 亿 token — AlchainHust · 2026-10-31
- Epoch AI：AI 芯片算力年增 2.5 倍，增速较 2023 年明显放缓 — rohanpaul_ai · 2026-10-31