AI2 发布 StateBench：GPT-6 与 Claude Opus 5.5 长文本状态追踪最低仅 13%
OfirPress · x · 2026-11-04
Allen AI（AI2）发布新评测 StateBench，测试 LLM 在长文本中的状态追踪能力——比如物品易手、变量重新赋值这类随文本推进的状态变化。
结果惊人：在最难、最长的题目上，GPT-6 Sol、Claude Opus 5.5 等前沿模型的准确率跌到 13% 或更低。该项目由 jowenpetty 主导，OfirPress 团队转发表示已在内部用它来开发新一代 Olmo 模型。
这暴露了前沿模型在长上下文下的一个基础能力短板：能读长文不等于能可靠追踪长文里的状态变化。
所属事件:Ai2 发布 StateBench：前沿模型长文状态追踪跌破 13%(18 条相关)→
「模型」频道最新
- 求推荐弱机可跑的无审查本地模型，用于检索与批量下载 — Emotional_Orange_279 · 2026-11-04
- DeepSeek 故障约 1 小时 44 分，社区猜测算力正挪给 V4.1 Pro — AccBalanced · 2026-11-04
- Claude 手写权重造出 984 参数神经网络，C 语法高亮跑得比 Pygments 快 — AlpinDale · 2026-11-04
- Fireworks Forge 大会发布 Sovereign 私有化栈与 Ember 下一代，效率再提 30 倍 — AccBalanced · 2026-11-04
- Kimi K3.1 Pro 明日开源权重,2.8T 参数、百万上下文 — togethercompute · 2026-11-04
- 「模型改模型权重」自改进初显威力,但缺论文与硬数据难言 RSI — ccerrato147 · 2026-11-04