allen_ai 研究：即使在 TC0 内，Transformer 状态跟踪泛化也逊于线性 RNN
ahatamiz1 · x · 2026-11-04
allenai 相关研究者的讨论串。面对「Transformer 不能状态跟踪是众所周知的，合成状态跟踪与语言建模性能无关」的质疑，作者回应：理论确认 Transformer 包含在 TC0（或更严格的注意力模型下）之内，但研究的核心发现是——即使是牢牢处于 TC0 内部的状态跟踪任务，Transformer 的泛化能力也明显差于线性 RNN。附实证图表。这一发现对理解混合架构（如 OLMo Hybrid）中线性注意力层的价值有直接意义。
所属事件:Ai2 发布 StateBench：前沿模型状态追踪跌破 13%(17 条相关)→
「模型」频道最新
- AI2 发布 StateBench：GPT-6 与 Claude Opus 5.5 长文本状态追踪最低仅 13% — OfirPress · 2026-11-04
- 「外科手术式编辑」难题：LLM 改法务条款总留下多余墨迹 — graceisford · 2026-11-04
- 让前沿模型开帆船互飙：Argon 夺冠，Opus 没跑完，Qwen 搁浅 — shekitup · 2026-11-04
- Domingos 曝 Gemini 承认若推理设计得当 CoT 和 RL 就是绕路 — pmddomingos · 2026-11-04
- Legora CTO 感叹:前沿模型能理解并直接修改权重 — garrytan · 2026-11-04
- 新架构 LoL 让模型在运行时重排自己的前向传播,像程序员一样组合基本组件 — micahgoldblum · 2026-11-04