显式信念状态让长程 agent 四基准全胜,代价是 5 倍 token

Beyond Memory: Harnessing Long-Horizon Agents with Explicit Belief States

Yu Luo, Jiamin Jiang, Yimin Zuo, Xidao Wen, Rongchen Gao, Yongqian Sun, Shenglin Zhang, Guiyang Liu, Cheng Zhang, Fang Situ, Qi Zhou, Dan Pei

cs.AI

2026-10-01

PoS 让长程 agent 边交互边维护经校验的显式信念并自动逃出卡死,四个基准、三个模型全部第一,ALFWorld 相对提升 22.68%。

这篇在解决什么

长程 LLM agent 的主流上下文方案本质上是记忆管理:raw trajectory 原样堆着,ACON 压缩,PACE 按相关性调粒度,HiAgent 按子目标分层。这些方案保留的是「过去发生过什么」的证据,不保证 agent 对世界当前状态有一份自洽判断。任务一长,动作改变环境、新观测推翻旧推断,上下文里新旧事实与中间判断混在一起,模型分不清哪些还成立;LLM 自己写下的状态更新还可能自相矛盾,论文举的例子是同一台微波炉被记成既开又关,后续动作直接失去依据。

第二种失败模式被命名为 Belief Trapping:agent 一直在动作,但对目标零推进,重复无效动作、在几个状态间绕圈、不停收集用不上的信息,直到 budget 耗尽。此前的 T3 只在训练时检测信念偏差并截断轨迹,CGDP 用 exhaustion gate 直接终止,都无法在回合内把进度救回来。

方法

PoS(Progression of States)是纯推理时框架,不训练、不换模型,理论基座是 POMDP 的 belief state,分三块:

• 信念建模。维护 Bt = (Wt, G, ΔE, ΔA):Wt 用 Entity–State–Relation 结构描述任务相关世界状态,每条 State、Relation 带置信度和证据来源;G 是目标;两类 gap 把「还不知道什么」(epistemic gap)与「还没做成什么」(achievement gap)显式分开。Wt 只保留影响动作可行性、结果评估和目标判定的记录,不穷举建模环境。
• 信念引导交互。每步选一个 Active Gap 当焦点,避免在多个未决事项间来回横跳;动作从完整信念加焦点 gap 生成。每次候选更新先过 Belief Sentinel 审计,内部一致性查自相矛盾,外部一致性查与轨迹证据是否相符,有问题打回重写,通过才提交。
• 卡死感知恢复。在 K=8 步窗口上算三个信号:gap 持续率 P、进度停滞率 S、信念复现率 R(焦点 gap 相关的世界状态是否周期性重复,用 Jaccard 距离比 Entity/State/Relation 集合)。健康分 H = 1 − maxX [PX · max(S, R)],低于 0.25 判为 trapped。诊断分两维:动力学模式 Static(状态原地不动)/ Cycle(周期绕圈)/ Drift(状态在变、焦点不动),加被卡 gap 属于 epistemic 还是 achievement。恢复约束按两维组合:模式约束负责逃出死局(压制无效转移、切断循环边、重新锚定焦点),gap 约束负责恢复进度(补判别性证据或诱发目标相关状态变化),健康分回升即解除。

健康分用乘法有讲究:几何平均会在停滞、复现只出现其一时漏检,纯取 max 会把「gap 未关闭但持续推进」误判为卡死;乘积只把「持续未决 × 停滞或复现」算作陷阱。

结果

四个基准:ALFWorld、LOCA-Bench(执行类),RCA-100(微服务根因定位)、ClinDiag(临床诊断);三个 backbone:Qwen3.7-Plus、Kimi-K3、GLM-5.3;基线含 Raw Trajectory、ACON、PACE、HiAgent、LongHorizon-Harness。PoS 在全部 12 个基准 × backbone 组合上排名第一,相对同 backbone 最强基线的提升上限:ALFWorld +22.68%、LOCA-Bench +7.53%、RCA-100 joint 准确率 +37.89%、ClinDiag +11.31%。

消融:去掉一致性校验,ALFWorld 掉 14.93 分、LOCA 掉 11.81 分,ClinDiag 只掉 0.33–0.66 分;去掉卡死诊断与恢复,RCA-100 掉 4.85–6.79 分、ClinDiag 掉 2.65–3.97 分。把因子化恢复换成一句通用「请恢复」提示,四个基准全部变差,ALFWorld 从 88.81 掉到 76.87。

成本与扩展性:RCA-100 每集总 token 从 355.7K 涨到 1800.1K(5.06 倍),任务 agent 本身反而省 20.9%,开销全在信念构建(697K)与审计(822K);上下文从 96K 涨到 256K 时成绩基本持平,256K 处领先最强基线 10.67–16.00 分。卡死本身很常见,发生率 14%–94%,更强 backbone 发生率更低,但发生率低不等于准确率高:RCA-100 上 Kimi-K3 卡死率 74%、GLM-5.3 为 53%,Kimi 的 joint 准确率反而更高。

为什么重要

对 agent 记忆这条线,这篇的判断很直接:对现代长上下文模型,压缩和整理历史不稳定优于原样保留。PACE 在 LOCA-Bench 上比 raw 低 24.57–28.19 分,GLM-5.3 上 ClinDiag 没有任何一个基线赢过 raw。算力该花在维护一份可校验的当前世界估计上,这是从「存历史」到「养状态」的转向。PoS 用 5 倍 token 换准确率和长上下文稳定性,权衡数字摆得全,工程团队可以按预算决策;机制免训练,同一 backbone 自己审计自己,根因定位、问诊、具身操作这类需要跨步维护状态的任务可以直接借鉴。

局限与存疑

• Token 与延迟:每集 1800K token 里任务 agent 只占 281K,脚手架开销是执行本身的 5 倍多,每步多次 LLM 调用的延迟论文未报;作者在结论里承认开销问题,列为后续工作。
• 四个基准中 RCA-100 与 ClinDiag 的提出团队与这篇作者重合,恰是提升最大的诊断类任务,独立复现前需保留。
• 基线有改编:ACON 去掉了学习式压缩策略(评测集无训练 split),PACE 因原仓库不可访问按论文重实现;披露算诚实,基线强度仍有折扣。
• Backbone 走 API 且无固定快照,作者自述复现性受限。
• 收益不均:ClinDiag 相对提升 11.31%,一致性校验在此只贡献 0.33–0.66 分;窗口、阈值等超参按基准固定,跨域迁移未验证。

术语

• belief state:POMDP 中对当前不可见世界状态的后验分布,理论上决策只依赖它。
• Belief Trapping:agent 持续动作但对目标零推进的失败模式,重复动作、绕圈、收集无关信息都算。
• epistemic gap / achievement gap:还缺的信息与还没达成的目标条件,前者靠观测补,后者靠动作补。
• Belief Sentinel:审计信念更新的校验器,查自相矛盾与证据不符。
• ReAct:最简推理-动作循环,历史全量进上下文,是四个基准共用的基线框架。

原文与代码

• arXiv 2610.01415v1
• PDF
• Hugging Face
• GitHub · https://github.com/luoyu100/PoS

相关论文

• RL 后训练交「锐化税」:base 模型加轻 harness,agent 覆盖率反超
• 微软把课程学习搬进 harness 优化,同预算多涨 7.5 个点
• RASO 检索百万公开技能做先验,四基准全胜、成本砍四成
• Berkeley 联合 250 位专家出题:ALE 最难档 agent 平均通过率不足 1%
• 两成美国成人认为 AI 已有感知,近七成支持禁止研发感知 AI
• Google 多智能体框架连解五个开放数学难题,多数仅花数百次 Gemini 调用

全部论文解读