X-Tree: Tokenizing Reusable Experience for Efficient Agent Generalization
Sitao Cheng, Xunjian Yin, Zhiyuan Sun, Yuxuan Li, Ruiwen Zhou, Xiangru Jian, Victor Zhong
cs.AI
2026-09-27
把 agent 轨迹当文本做 BPE 式合并,零 LLM 成本挖出可复用技能树,接入离线 RL、RLVR、自蒸馏三种训练,WebArena 最高 +4.5 SR。
多步 agent 最缺的是经验:一条轨迹要么人标、要么模型合成再验证,环境、任务、verifier 每样都贵,没有一样像网页文本那样无限供给。可 SFT 和 RLVR(以任务成败为可验证奖励的强化学习)把轨迹当平铺的动作流,每个 token 权重相同,「填两个日期再点 Apply」这类跨任务反复出现的过程结构完全没被利用。数据里有层级,目标函数不看。
最近的 agent 框架确实在用这种结构,以 OpenClaw 为代表,让 LLM 把历史经验总结成自然语言 workflow 塞进上下文。这条路两头受限:技能只留在 prompt 里,进不了权重,检索不到就没了;抽象这一步要调 LLM,贵、不可控,产出的技能库也无法从数据复现。于是问题变成:能不能不经过 LLM,直接从轨迹池把层级挖出来,并让它参与训练。
X-Tree 把文本分词器 BPE 的思路搬到经验上,三步:
这棵树不是拿去做 prompt,而是接进三种训练:离线 RL(只有轨迹、没有环境)里每个节点是一个 GRPO(组内 rollout 互比优势的 RL 算法)实例,从金标前缀部分展开,奖励为步骤匹配率加按深度放大的完成奖励;在线 RLVR 在 outcome 奖励上加自适应技能奖励,组内全失败时权重最大、成功率升到阈值后归零,verifier 哑掉时它供梯度,信号变密后自动退场;OPSD(on-policy self-distillation,在线自蒸馏)里,自教师读同一 prompt 加检索到的技能文本,逐 token 比较两侧概率差、经门控只把技能真正影响的 token 拉向教师,直接顶替 LLM 写的技能库。
| 设置 | 基线 | X-Tree | 提升 |
| WebArena 离线 RL(Qwen2.5-7B,SR) | 18.4(SFT-Full) | 22.9 | +4.5 |
| ScienceWorld 在线 RLVR(7B,G1 SR) | 56.7 | 61.6 | +4.9 |
| WebShop 在线 RLVR(7B,graded score) | 85.6 | 90.2 | +4.6 |
| ScienceWorld SFT 集成(7B,G0+G1 SR) | 20.8(逐动作 SFT) | 29.9 | +9.1 |
WebArena 上这是 24% 的相对提升;给 SFT 加两轮 epoch 匹配 RL 算力只多涨 0.4,涨分与算力无关。消融干净:换成等量等长随机 span 掉 3.4,换成随机合并的树掉 5.0(17.9,连 SFT-only 都不如),结构确实来自 X-Score;奖励换成整条轨迹的二值 outcome 掉 4.7,步骤级信号必要。在线侧,rollout 数 n=4 时领先 3.64.4,n=16 收窄,符合「verifier 信号稀疏才出手」的设计;用 SFT 数据本身挖树、资源完全对齐,仍 +1.03.2。OPSD 里渲染成文本的 X-Tree 与 gpt-oss-120b、GPT-o3 写的技能库打平并多数略胜,7B 上比 outcome-only RLVR 高 5.8 SR。SFT 集成每监督动作只用 446 token(逐动作 SFT 要 1766),换来表里最大涨幅。
对做 agent 训练的人,这是一条不依赖 LLM 抽象的经验复用路线:技能库同数据可复现,每个节点带成功率和出现次数、可审计,100 条轨迹挖的树就高过 outcome-only 基线(75.2 对 73.8)。三个接入点覆盖常见形态:没环境做离线 RL,有 verifier 做在线 RLVR,模型够稳做自蒸馏。增益是几个点的渐进改进,但消融把「涨分来自结构本身」论证得比较完整。
作者列了三条:树只挖一次、训练中不更新,没法和政策共同进化;三种集成各测各的,从未组合;X-Tree 只重组已有经验,不产生新轨迹。读下来还有几点。规范化模板每个环境手写(WebArena 靠可访问性树角色,ScienceWorld 靠九类关键词词典),换环境有工程成本,论文没测模板质量的影响。主表报归一化 SR,全配方在官方 evaluator 下是 21.5 对 17.2,归一化器每趟找回 411 个 exactmatch 任务,幅度小,口径该知道。实验全在 1.5B14B 的 Qwen2.5 和 GLM-4 上、三个文本交互环境里,更大模型和 OSWorld 类真机环境没有证据;14B 上增益缩到 +1.6,GLM-4-9B 上 +2.0,都低于 7B 的 +4.5。