普林斯顿等提出循环式 Transformer，大幅提升长序列外推能力

普林斯顿大学与宾夕法尼亚大学提出 Recurrent Looped Transformer（RLT，arXiv:2610.07591），针对状态跟踪类任务中 Transformer 每 token 计算深度固定的问题，让模型携带跨循环状态并随序列变长执行更多循环、形成更长的计算链。实验显示该架构在长序列外推上大幅提升，奇偶校验任务外推至 256 bit 时准确率达 100%。

2026-10-17 ~ 2026-10-17 · 3 条相关

• 普林斯顿等提出 RLT：循环解码器让 Transformer 长序列外推大幅提升 — TheTuringPost · 2026-10-17
• RLT 论文:循环 Transformer 奇偶校验外推至 256 bit 达 100% — TheTuringPost · 2026-10-17
• 普林斯顿等提出循环式 Transformer：序列越长计算链越长 — TheTuringPost · 2026-10-17