Recurrent Looped Transformer 新报告：循环跨 token 加全局 KV 缓存
rasbt · x · 2026-09-14
Sebastian Raschka 转评一篇新技术报告，指出其与 DeepSeek 的 encoder-decoder 全局 KV 缓存加循环 transformer 思路相似。该报告提出 Recurrent Looped Transformer（RLT）：把 loop 从层间扩展到 token 之间，让 decoder 对每个 token（包括 prompt 和响应）递归处理；同时用一个 causal encoder 构建全局 KV 记忆，decoder 为每个新 token 结合 encoder 表示与自己上一步的最终隐藏状态。Looped transformer 是当前热门架构方向。
所属事件:RLT 循环 Transformer 开源：跨 token 递归实现无限深度(6 条相关)→
「研究」频道最新
- AI 时代何为「科学发现」？ICLR 2027 提案 SCOPE 研讨会聚焦争议 — mariyaivasileva · 2026-10-31
- 机器人操作新基准 MolmoSpaces-CommonSense:所有策略无一超过 30% — RanjayKrishna · 2026-10-31
- 用培养脑细胞做视频模型：mischief 1 上线，每秒仅 0.5 美分 — evilsocket · 2026-10-31
- 斯坦福 CS336 笔记:Percy Liang 讲透 Scaling Laws 的思维方式转变 — stanfordnlp · 2026-10-31
- VGGT 3D 模型微调新法：按纹理几何光照拆分可复用 LoRA 方向 — burkov · 2026-10-31
- Moondream 发布 RefCOCO-M：像素级掩码、清除问题标注的指代分割评测集 — victormustar · 2026-10-31