Ai2 发布 StateBench：前沿模型状态追踪跌破 13%

Ai2（Allen Institute for AI）发布新评测基准 StateBench，系统考察 LLM 在长文本中追踪状态变化的能力，如物品易手、变量重新赋值、跟踪反复换位的杯子下的小球等。结果显示包括 GPT-6 Sol 与 Claude Opus 5.5 在内的前沿模型在最难、最长的问题上准确率跌至 13% 以下，且团队通过直接训练实验与理论证明指出，这一短板可能更多源于 Transformer 架构本身而非训练数据。该成果发布后引发 NVIDIA 研究员与 Ai2 方面的多轮公开交锋，成为长上下文模型设计讨论的焦点。

已确认

• StateBench 将状态追踪分为四级难度：r-trivial（记住生日等固定信息）、aperiodic、solvable、general finite（如持续跟踪杯子交换下的小球），为定位模型失败点提供难度梯度。
• lambdaviking 澄清该基准类似 RULER，但专注状态跟踪：要求模型在不产出推理 token 的情况下，跨大量输入求解一个确定性合成任务；由于任务完全确定，不报告 oracle 类指标以外的复杂口径。
• 在最难层级上，前沿模型（含 GPT-6 Sol、Claude Opus 5.5）准确率跌至 13% 以下。
• 为排除失败源于预训练而非架构，Ai2 直接在 StateBench 上训练模型再在更长输入上评测：Hybrid 架构与 Gated DeltaNet 在前三个难度层级接近满分，Transformer 随长度退化。
• Gated DeltaNet 能处理约 10 倍于训练所见长度的序列；团队还给出新证明：带非负特征值的 Gated DeltaNet 在带舍入的定点精度算术下仍能求解部分问题。
• 理论边界方面，作者澄清：Transformer 无法表达最难（NC1-complete）的状态追踪任务，但存在更简单的、位于 TC0 内且与现有长上下文基准任务类似的状态追踪种类；且即使对确定位于 TC0 内的任务，Transformer 的泛化能力也明显差于线性 RNN。

尚未确认

• NVIDIA 研究员 Ahmad Hatamizadeh（@ahatamiz1）质疑该研究的价值，认为「Transformer 无法做状态跟踪是众所周知的事实」，且合成状态跟踪任务的表现与语言建模性能无关；他还质疑 StateBench 使用 oracle-max 指标会夸大随机任务上的成绩。这些批评指向评测口径与研究意义，Ai2 方面暂无正式回应。
• Ai2 的 jowenpetty 回应称这项工作不只是「验证油和水不混合」，而是提供了更完整的理论、给出不同类型任务的可混合性谱系新证明并用实验验证；该辩护尚未平息争论。

为什么重要

• 状态追踪是阅读代码（变量赋值）和理解故事（物品转手、人物移动）的基础能力，该基准为衡量这一能力提供了分级工具。
• 对比实验表明失败可能更多出在 Transformer 架构本身而非训练数据，Gated DeltaNet 等线性/混合架构在长度外推上的优势（10 倍训练长度）为长上下文模型设计提供了新证据。
• 关于 TC0 内任务 Transformer 泛化仍逊于线性 RNN 的发现，直接回击了「合成任务与语言建模无关」的质疑；但指标与任务相关性的争议也提示解读具体分数时需谨慎。

2026-11-04 ~ 2026-11-04 · 17 条相关

• AI2 提问式开题：LLM 能否在长文本中追踪状态变化？ — allen_ai · 2026-11-04
• StateBench 的 4 级难度设计：从记生日到追杯子换球 — allen_ai · 2026-11-04
• 【源头】Ai2 发布 StateBench:前沿模型长任务状态追踪准确率跌至 13% 以下 — allen_ai · 2026-11-04
• 【源头】StateBench 追加实验：Hybrid 与 Gated DeltaNet 接近满分，Transformer 随长度退化 — allen_ai · 2026-11-04
• 【源头】StateBench 收尾：Gated DeltaNet 外推 10 倍长度，附定点精度证明 — allen_ai · 2026-11-04
• Ai2 发布 StateBench:Gated DeltaNet 处理长序列状态追踪超训练长度 10 倍 — allen_ai · 2026-11-04
• AI2 发布 StateBench：前沿模型长文本状态追踪准确率跌至 13% — allen_ai · 2026-11-04
• StateBench 评测遭质疑:前沿模型长程状态追踪准确率仅13% — ahatamiz1 · 2026-11-04
• Allen AI 新基准遭质疑:被指用 oracle-max 指标夸大随机任务成绩 — ahatamiz1 · 2026-11-04
• 即使是 TC0 内的状态追踪任务，Transformer 泛化也不如线性 RNN — jowenpetty · 2026-11-04
• allen_ai 研究：即使在 TC0 内，Transformer 状态跟踪泛化也逊于线性 RNN — ahatamiz1 · 2026-11-04
• Allen AI 状态追踪论文作者回应质疑：不只测油水不混合，而是给出完整理论 — jowenpetty · 2026-11-04
• Transformer 状态跟踪之辩：NVIDIA 研究员援引 OLMo Hybrid 论文反驳 — ahatamiz1 · 2026-11-04
• Allen AI 新基准：面向状态跟踪任务的长上下文评测 — lambdaviking · 2026-11-04
• AI2 研究者披露正构建状态追踪长上下文评测基准 — lambdaviking · 2026-11-04
• 理论澄清：Transformer 并非完全不能状态跟踪，只是搞不定最难的任务 — lambdaviking · 2026-11-04
• 论文澄清：Transformer 无法表达最难的状态追踪，但简单类型仍在 TC0 内 — lambdaviking · 2026-11-04