Looped Transformers 论文:13 层 transformer 可模拟通用计算机

DimitrisPapail · x · 2026-11-08

Dimitris Papailiopoulos 再次转发团队 2023 年论文《Looped Transformers as Programmable Computers》(arXiv:2301.13196),向作者 Angeliki Giannou 与 Shashank Rajput 致敬。

论文提出用特定权重编程 + 循环执行的方式,把 transformer 当作通用计算机:输入序列充当「打孔卡」,包含指令与读写数据的内存;常数层 encoder 即可模拟编辑嵌入、非线性函数、函数调用、程序计数器和条件分支等基本计算单元。

基于这些构件,作者用循环的 13 层 transformer 实现了一个小型指令集计算机,可运行基础计算器、线性代数库,以及使用反向传播的 in-context learning 算法。工作展示了注意力机制的多功能性:即使浅层 transformer 也能执行完整的通用程序。

「研究」频道最新