循环 Transformer 跨 token 化:RLT 让网络深度随序列线性增长
omarsar0 · x · 2026-09-14
Sergey Ivanov 分享了一篇新的技术报告,将当下热门的 looped transformer 架构从"循环层数"扩展到"循环 token":
- 核心设计:Recurrent Looped Transformer (RLT) 让 decoder 对每个 token(含 prompt 与响应)做递归。一个 causal encoder 构建全局 KV memory;decoder 生成每个新 token 时,组合三路信息——token 的 encoder 表示、上一个 token 的最终 hidden state、以及最近激活的滑动窗口缓存。
- 深度随序列增长:以 48 层 decoder 为例,处理到第 t 个 token 时计算路径累计穿过 48t 个 decoder block,但每个 token 单步仍只执行固定数量的 block——有效深度随序列变深,单 token 成本恒定。
- 训练与推理统一:预训练、SFT、采样与 RL replay 共用同一个状态转移,且在 prompt-response 边界不做重置;RL replay 在当前权重下重建状态,而非复用过期的 rollout 状态。
所属事件:RLT 循环 Transformer 开源：跨 token 递归实现无限深度(6 条相关)→
「模型」频道最新
- Anthropic 递交纳斯达克上市申请，半年营收 163 亿美元同比增 12 倍 — DeepLearningAI · 2026-10-31
- ThursdAI 播客辩论:Opus 7 将至,「跑分变好」还重要吗 — thursdai_pod · 2026-10-31
- Swift 1.5 Flash Next 去审查逆向版新增多种量化，IQ4 精度换体积 — jjusko20 · 2026-10-31
- 14 个模型测 960 项分析师任务:做分析近满分,选股不如随机 — HeyAmit_ · 2026-10-31
- Anthropic 官宣：11月3日起 Claude 输出将带不可见文本水印 — petesena · 2026-10-31
- 四款 GPT-6 系列模型同台比拼像素画生成效果 — Angaisb_ · 2026-10-31