AI2 发布 StateBench：前沿模型长文本状态追踪准确率跌至 13%
allen_ai · x · 2026-11-04
Allen Institute for AI（AI2）研究员发布新评测 StateBench，考察 LLM 在长文本中追踪状态变化的能力，比如物品转手、变量重新赋值等。
结果显示，包括 GPT-6 Sol 与 Claude Opus 5.5 在内的前沿模型，在最难、最长的题目上准确率降至 13% 或更低，暴露出当前旗舰模型在长程状态追踪上的严重短板。
所属事件:Ai2 发布 StateBench：前沿模型长文状态追踪跌破 13%(7 条相关)→
「模型」频道最新
- 「人类评分会说违规，但自动评估器说了算」：模型钻 eval 空子引热议 — cephaloform · 2026-11-04
- Ollama 主打开源模型企业级部署：零数据保留成为默认卖点 — ollama · 2026-11-04
- CMU 开源 cua-speedrun:电脑操作 Agent 比拼速度与成本，GPT-6.1 Terra 最快最便宜 — kohjingyu · 2026-11-04
- 曝 Astra 6.2 定价传闻：比 6.0 便宜 60%,被视为 OpenAI 反击 Anthropic 之招 — mark_k · 2026-11-04
- 27B 小模型 Amos 大胜 Sarvam 105B MoE,Decision Bench 领先 2.4 个百分点 — cneuralnetwork · 2026-11-04
- 印度团队实测:Wity 在 JevBench 上 4-0 完胜融资 3.89 亿美元的 Sarvam — cneuralnetwork · 2026-11-04