递归循环 Transformer RLT 开源：潜空间推理实现无限深度
inductionheads · x · 2026-09-13
研究者 Yifan Zhang 发布 Recurrent Looped Transformer（RLT）并开源代码与论文。RLT 让潜空间计算贯穿每个输入与输出 token：因果编码器构建全局 KV 记忆，递归解码器将其与滑窗注意力（SWA）及上一层最终隐藏态的反馈结合。
- 无限时间深度：解码器深度为 LD 时，t 个 token 后递归路径相当于经过 t×LD 个模块，而每 token 执行的模块数固定；
- 模型-硬件协同设计：并行因果编码、跨序列批处理、显存复用与激活检查点等手段支撑高效训练推理；
- 作者还强调与 RL 算法的结合，并称这标志着「超级智能的黎明」，主张前沿进展应放缓节奏直至实现安全的超级智能。
仓库包含英文与中文论文 PDF、项目主页，目前约 32 star，属早期发布。
「研究」频道最新
- 斯坦福新课 CS312:作业零分,85% 成绩靠预测实验损失 — PMinervini · 2026-09-13
- Google DeepMind 长文拆解 Transformer 推理:从采样到多芯片扩展 — zainhas · 2026-09-13
- Imaging Neuroscience 新论文:用混合效应模型扩展脑图对应的置换检验 — bttyeo · 2026-09-13
- Blender 动画实验:先平滑再解 IK,骨头能缩水一半 — andrew_n_carr · 2026-09-13
- 陶哲轩新论文：AI 时代数学的稀缺资源从找证明转向理解证明 — NandoDF · 2026-09-13
- Raji 呼吁为前沿 AI 审计生态重写「谁审计审计者」 — rajiinio · 2026-09-13