Ai2 发布 StateBench:前沿模型长任务状态追踪准确率跌至 13% 以下
allen_ai · x · 2026-11-04
Ai2 发布 StateBench 基准,将状态追踪(state tracking)分为四级:r-trivial(记住固定信息如生日)、aperiodic、solvable 与 general finite(如持续跟踪杯子交换下小球位置)。
测试覆盖开源预训练模型与前沿模型(含 Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol + Luna)。结果显示:简单问题上前沿模型表现不错,但随着任务变难、输入变长,准确率急剧下滑——在最长的 general finite 问题上跌至 13% 甚至更低。
所属事件:Ai2 发布 StateBench：前沿模型长任务状态追踪准确率不足 13%(3 条相关)→
「模型」频道最新
- Crosby 发布 Surgeon 模型,专评合同修订是否精准 — graceisford · 2026-11-04
- Crosby 自训 27B 模型判「手术式」修订,准确率 90.6% 超前沿模型 — graceisford · 2026-11-04
- Overthinking Bench:问「你好吗」,各家模型思考 token 消耗差出百倍 — intellectronica · 2026-11-04
- Andrew Ng 观察:LLM 工具箱不断扩张,"比 Y 更会做 X"之问失去意义 — andrewgwils · 2026-11-04
- mxstbr：模型厂商后训练强化 tool search，MCP 层叠搜索反伤工具发现 — pvncher · 2026-11-04
- Claude Opus 5.5 禁止查看 Qwen 推理内容，触发护栏报错 — andpoul · 2026-11-04