RLT 论文:循环 Transformer 奇偶校验外推至 256 bit 达 100%
TheTuringPost · x · 2026-10-17
普林斯顿与宾大团队提出 Recurrent Looped Transformer(RLT)(arXiv:2610.07591),核心思路是让 Transformer 携带跨 token 的运行状态。
- 架构:把层拆分为并行因果编码器 + 循环解码器；每个 token 时，解码器将编码器输出与上一 token 的最终解码状态合并，使计算路径随序列长度增长而每 token 成本固定。
- 结果：在至多 40 bit 数据上训练后，RLT 的某些层拆分方案将奇偶校验外推到 256 bit,三个随机种子全部 100% 准确，普通 Transformer 仍是随机水平；长度 8 倍于训练长度的 S5 置换跟踪任务达 97% vs 不足 1%;超出训练长度的模运算最高 93% vs 33%。
- 消融：去掉反馈回路后所有拆分都掉回随机水平；每 4-token 块更新一次反馈可并行处理块内已知 token 且保住 99% 的 64-bit 奇偶校验，但置换跟踪依赖逐 token 反馈(chunking 使其从 100% 跌至 20%)。
结论：固定每 token 深度的 Transformer 天生不适合状态跟踪，递归反馈是弥补这一结构性缺陷的有效路径。
所属事件:普林斯顿等提出 RLT：循环 Transformer 大幅提升长序列外推(2 条相关)→
「研究」频道最新
- StepSafe 论文提出步级安全护栏：让 agent 监测器学会及时干预 — armancohan · 2026-10-17
- Sakana AI Scientist v3 发布：并行 agent 编排完整科研闭环 — hardmaru · 2026-10-17
- 新算法将 (min,+) 矩阵乘法指数降至 2.9964，超越 Anthropic 突破 — thegautamkamath · 2026-10-17
- 「可解释性解决了吗」大讨论:模型越大规模越难完全理解 — NeelNanda5 · 2026-10-17
- 新思路：用 LLM 把训练好的模型分解成普通代码？ — tszzl · 2026-10-17
- 字节Seed提出Data-Space迭代，少步生成质量超标准蒸馏基线 — _akhaliq · 2026-10-17