StateBench 评测遭质疑:前沿模型长程状态追踪准确率仅13%

ahatamiz1 · x · 2026-11-04

allenai 发布新基准 StateBench,测试模型在长文本中追踪状态变化(如物品易手、变量重赋值)的能力,显示 GPT-6 Sol、Claude Opus 5.5 等前沿模型在最难、最长的题目上准确率跌至 13% 以下。

不过 @ahatamiz1 对此提出批评:把合成 state-tracking 基准与现实代码库/文件追踪能力直接挂钩是有误导性的——玩具任务上表现好,不代表模型能更好地追踪真实代码库。他还从理论角度补充:固定深度 transformer 处于 TC⁰ 复杂度类,在标准复杂性假设下无法在单次前向传播中求解置换复合等困难的状态追踪问题。