Astra 疑似学会 parity 算法,或与循环机制有关

justanotherlaw · x · 2026-09-26

发帖人指出更惊人的是 Astra 能做对 parity(奇偶性)判断——这在理论上对固定深度的 transformer 是数学上困难的任务,并引用了 Michael Hahn 2020 年 TACL 论文《Theoretical Limitations of Self-Attention in Neural Sequence Models》:该文证明自注意力在层数/头数不随输入长度增长时,无法建模周期性有限状态语言或层级结构。

发帖人猜测 Astra 能做到这一点可能与其循环(looping)机制有关,即通过循环突破固定深度 transformer 的理论限制。

所属事件:Astra 行列式与 parity 能力被拆解:疑似专用电路而非通用算法(3 条相关)→

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →