普林斯顿等提出循环式 Transformer:序列越长计算链越长

TheTuringPost · x · 2026-10-17

Turing Post 转述了普林斯顿大学与宾夕法尼亚大学提出的新架构 Recurrent Looped Transformer(RLT):让 Transformer 在处理每个 token 后携带并更新一个持续运行的隐藏状态。

其核心吸引力在于:更长的输入序列会自然形成更长的计算链,而不需要为每个 token 增加更多层——即可以用固定深度的网络换取随序列增长的推理计算量。

Turing Post 是面向工程师与研究员的 AI Newsletter,称有来自各大 AI 实验室、VC 与高校的 10 万以上读者。

所属事件:普林斯顿等提出循环式 Transformer,大幅提升长序列外推能力(3 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →