Recurrent Looped Transformer:复用最终隐状态换取更深推理
WebAssemblyMan · reddit · 2026-09-16
作者介绍 Recurrent Looped Transformer(RLT)架构:将 decoder 的最终隐状态传回下一个 token,与该 token 的因果 encoder 表示一起输入;decoder 读取 encoder 派生的全局 KV memory,并在每一层维护滑动窗口注意力(SWA)缓存,同一更新过程对 prompt 和 response token 统一运行。核心卖点是更有效的推理深度(reasoning depth)。代码开源于 GitHub yifanzhang-pro/recurrent-looped-tranformer。
「研究」频道最新
- General Reasoning 首发博客:详解如何用强化学习训练 Agent 集群协作 — rosstaylor90 · 2026-11-02
- 数学家 Tony Feng：当前范式 LLM 缺乏研究所需的思维多样性 — littmath · 2026-11-02
- 「不懂测度论就学不了概率」？数学圈调侃形式化与本质的错位 — LucaAmb · 2026-11-02
- DStill 论文：蒸馏多步去噪轨迹，块扩散投机解码提速至 6.45 倍 — LucaAmb · 2026-11-02
- 研究发现门控参与度与生成质量强相关，径向目标降 FID 至 11.83 — Junha Park · 2026-11-02
- REA 提出「大脑-小脑」异步机器人控制运行时，运行策略不等大脑 — Pengfei Zhou · 2026-11-02