新研究：用代数分解理论预判 Transformer 长度泛化能力

tokenbender · x · 2026-08-16

这是一篇关于 Transformer 长度泛化能力的研究论文。现有模型在比训练序列更长的输入上表现不一致，但缺乏判断其能否正确泛化的精确方法。该论文建立了首个完整表征，界定了 Transformer 在哪些正则语言上能进行长度泛化，并提供了一种在语言句法幺群规模上运行时间为多项式的决策算法。研究发现，经典的 Krohn-Rhodes 分解理论不适用于此，因为 C-RASP（表达 Transformer 长度泛化的形式主义）的基本构建块（如无界计数）在有限半群中不可表达。