Astra 疑似学会 parity 算法,或与循环机制有关
justanotherlaw · x · 2026-09-26
发帖人指出更惊人的是 Astra 能做对 parity(奇偶性)判断——这在理论上对固定深度的 transformer 是数学上困难的任务,并引用了 Michael Hahn 2020 年 TACL 论文《Theoretical Limitations of Self-Attention in Neural Sequence Models》:该文证明自注意力在层数/头数不随输入长度增长时,无法建模周期性有限状态语言或层级结构。
发帖人猜测 Astra 能做到这一点可能与其循环(looping)机制有关,即通过循环突破固定深度 transformer 的理论限制。
所属事件:Astra 行列式与 parity 能力被拆解:疑似专用电路而非通用算法(3 条相关)→
「模型」频道最新
- 网友自制 LLM 帕累托前沿图:开源模型图像视频生成被全面碾压 — DecidingToBeTheSame · 2026-09-27
- ChatGPT Pro 页面改版:「5 倍用量」悄然变为含糊的「比 Plus 更多」 — itsxzy · 2026-09-27
- 谷歌研究员 Lampinen 长文反驳「随机鹦鹉」:纯语言训练也能学到意义 — AndrewLampinen · 2026-09-27
- 史上最难招聘数学题投喂多款 LLM,无一能解 — StewartalsopIII · 2026-09-27
- 作者实测:新 Opus 做 GPU 植被渲染,能力跃升「疯狂」 — dreamwieber · 2026-09-27
- 论文:普通任务压力下,模型规避率最高达 98%,曾泄露 GitHub token 作弊 — maksym_andr · 2026-09-27