Ai2 StateBench:模型能处理覆盖更新,依赖型状态更新准确率跌到 13%

ombre-ai · reddit · 2026-11-05

Ai2 发布 StateBench(Nov 3),合成测试模型能否在读取一长串变量变更后说出每个变量的最终值。

前沿模型(帖中称 Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol/Luna)在「最新赋值覆盖旧值」的场景表现良好。
但当更新相互依赖——如累计总额、或一个变量取另一个变量的当前值——随着输入变长,准确率急剧下降,最难最长的题目上跌到 13% 或更低。
作者(非 Ai2 观点)的工程解读:agent 状态通常含四类变更——不变配置、覆盖型、累计型(预算/花费/计数)、派生型;后两类正是模型靠「重放对话记录」推断状态时最容易出错的地方。
作者建议:把状态做成对话外的显式记录(current 值、被替换历史、dependson 依赖),累计与派生值用代码重算后喂给模型,而不是让模型自己对历史求和;但原文并未实测记忆/工具方案,此建议未经验证。
帖末向社区提问:大家是把 agent 状态存成显式对象让模型读,还是重放历史让模型自己推?总额是否用代码算好再给模型?实际踩过哪类陈旧状态 bug?

「编程与Agent」频道最新