循环环式Transformer泛化256位奇偶校验,基线模型仍在随机水平
princetonu · hf · 2026-10-08
普林斯顿团队提出 Recurrent Looped Transformer（RLT），解决 Transformer 固定深度无法随序列增长的问题。
核心设计：将层分为并行因果编码器与循环解码器，每个 token 的解码器把编码器输出与上一个 token 的最终状态合并，计算路径随序列增长而每 token 成本固定。
实验结果（六项算法任务、三种种子）：
- 仅训练至 40 bit，RLT 将 parity 泛化到 256 bit 且全部种子 100% 准确，普通 Transformer 仍是随机水平
- 8 倍训练长度的 S5 置换追踪：RLT 达 97%，基线不足 1%
- 超训练长度的模运算：RLT 最高 93% vs 33%
- 消融显示增益依赖反馈通路；每 4 token 更新一次反馈可保持 99% 的 64-bit parity，但置换追踪需要逐 token 反馈
「研究」频道最新
- 以太坊研究员 Justin Drake 呼吁行业转入「地堡模式」应对数学进步风险 — marcvanderchijs · 2026-10-08
- Lean 证明疑与论文不一一对应,GPT 形式化被指对难证引理抄近路 — ctjlewis · 2026-10-08
- Alignment Whack-a-Mole 获 COLM 2026 oral,作者预告对谈节目 — TuhinChakr · 2026-10-08
- OpenAI 疑似证明虚二次域模性猜想,CM 数域椭圆曲线或将全部模性 — soumitrashukla9 · 2026-10-08
- OpenAI 一天发 722 篇数学论文,过半引用自家工作且现引用环 — aran_nayebi · 2026-10-08
- 数学家发现 AI 洞见藏在既有思想的凸包里,其余科学也将在更大规模迎来这一课 — soumitrashukla9 · 2026-10-08