Astra 疑似学会 parity 算法,或与循环机制有关
justanotherlaw · x · 2026-09-26
发帖人指出更惊人的是 Astra 能做对 parity(奇偶性)判断——这在理论上对固定深度的 transformer 是数学上困难的任务,并引用了 Michael Hahn 2020 年 TACL 论文《Theoretical Limitations of Self-Attention in Neural Sequence Models》:该文证明自注意力在层数/头数不随输入长度增长时,无法建模周期性有限状态语言或层级结构。
发帖人猜测 Astra 能做到这一点可能与其循环(looping)机制有关,即通过循环突破固定深度 transformer 的理论限制。
所属事件:Astra 行列式与 parity 能力被拆解:疑似专用电路而非通用算法(3 条相关)→
「模型」频道最新
- Gemini 4 Carbon 与前代得分相当,策略却被批散乱易分心 — patience_cave · 2026-11-11
- Fable 5.2 登顶 MazeBench,解谜能力追平 GPT-6 Astra — patience_cave · 2026-11-11
- MazeBench 排行:Fable 5.2 得 15%,token 效率最高 — patience_cave · 2026-11-11
- 文心 ERNIE 5.5 Flash 预览版上线 LMArena Battle 模式 — arena · 2026-11-11
- 深度用两天后独立开发者从 20 美金档升回 Gemini Ultra 200 美金 — yihui_indie · 2026-11-11
- OpenAI 将于 12 月 11 日下线 ChatGPT 标准 9 种语音,用户发起请愿挽留 — ChaosGremlinOG · 2026-11-11