Ai2 发布 StateBench：前沿模型长文状态追踪跌破 13%
Allen Institute for AI（Ai2）发布新评测基准 StateBench，系统考察 LLM 在长文本中追踪状态变化的能力，如物品易手、变量重新赋值、跟踪反复换位的杯子下的小球等。结果显示包括 GPT-6 Sol 与 Claude Opus 5.5 在内的前沿模型在最难、最长的问题上准确率跌至 13% 以下，暴露出长任务状态追踪仍是当前模型的显著短板。
已确认
- StateBench 将状态追踪分为四级难度：r-trivial（记住生日等固定信息）、aperiodic、solvable、general finite（如持续跟踪杯子交换下的小球），为定位模型失败点提供了难度梯度。
- 在最难层级上，前沿模型（含 GPT-6 Sol、Claude Opus 5.5）准确率跌至 13% 以下。
- 为排除失败源于预训练而非架构，Ai2 直接在 StateBench 上训练模型再在更长输入上评测：Hybrid 架构与 Gated DeltaNet 在前三个难度层级接近满分，Transformer 则随长度退化。
- Gated DeltaNet 能处理约 10 倍于训练所见长度的序列；团队还给出新证明：带非负特征值的 Gated DeltaNet 在带舍入的定点精度算术下仍能求解部分问题。
为什么重要
- 状态追踪是阅读代码（变量赋值）和理解故事（物品转手、人物移动）的基础能力，该基准为衡量这一能力提供了分级工具。
- 对比实验表明失败可能更多出在 Transformer 架构本身而非训练数据，Gated DeltaNet 等线性/混合架构在长度外推上的优势为长上下文模型设计提供了新证据。
2026-11-04 ~ 2026-11-04 · 7 条相关
一手来源
- Ai2 发布 StateBench:前沿模型长任务状态追踪准确率跌至 13% 以下 — allen_ai ·
- StateBench 追加实验：Hybrid 与 Gated DeltaNet 接近满分，Transformer 随长度退化 — allen_ai ·
- StateBench 收尾：Gated DeltaNet 外推 10 倍长度，附定点精度证明 — allen_ai ·
- AI2 提问式开题：LLM 能否在长文本中追踪状态变化？ — allen_ai · 2026-11-04
- StateBench 的 4 级难度设计：从记生日到追杯子换球 — allen_ai · 2026-11-04
- 【源头】Ai2 发布 StateBench:前沿模型长任务状态追踪准确率跌至 13% 以下 — allen_ai · 2026-11-04
- 【源头】StateBench 追加实验：Hybrid 与 Gated DeltaNet 接近满分，Transformer 随长度退化 — allen_ai · 2026-11-04
- 【源头】StateBench 收尾：Gated DeltaNet 外推 10 倍长度，附定点精度证明 — allen_ai · 2026-11-04
- Ai2 发布 StateBench:Gated DeltaNet 处理长序列状态追踪超训练长度 10 倍 — allen_ai · 2026-11-04
- AI2 发布 StateBench：前沿模型长文本状态追踪准确率跌至 13% — allen_ai · 2026-11-04