即使是 TC0 内的状态追踪任务，Transformer 泛化也不如线性 RNN
jowenpetty · x · 2026-11-04
Allen AI 研究人员承认 Transformer 包含于 TC0 复杂度类（取决于注意力模型可能更严格），但指出论文的关键发现是：即使对于确定位于 TC0 内的状态追踪任务，Transformer 的泛化能力也明显差于线性 RNN。配图展示状态追踪复杂度层级（AC0/TC0/NC1）下各架构的分布，实验显示 GDN 在 r-trivial、aperiodic、solvable 数据上完美泛化，而 Transformer 一旦超出训练分布即失效，在 general finite 数据上甚至学不好分布内泛化。
所属事件:Ai2 发布 StateBench：前沿模型长文状态追踪跌破 13%(18 条相关)→
「研究」频道最新
- Stanford 团队用 1/5600 算力预测 GSM8K 准确率，误差仅 3 分内 — stanfordnlp · 2026-11-04
- 1995 年的旧电脑跑现代引擎可胜卡斯帕罗夫：软件贡献 720 Elo — demian_ai · 2026-11-04
- 浙大联合微软提出 History Forcing,破解长视频生成一致性漂移 — ZhejiangUniversity · 2026-11-04
- D&A 方法:把「描述」与「评估」解耦,让任意 VLM 变身机器人奖励模型 — weichiuma · 2026-11-04
- Muon 预训练损失更低，但大规模数据下微调后反输给 AdamW — AdtRaghunathan · 2026-11-04
- YC F26 实验室 Vorelios 出炉:用 AI 秒级预测工程仿真 — KlausCodes · 2026-11-04