SEED：自我进化的智能体蒸馏
Jinyang Wu · hf · 2026-07-17
## SEED：会自我进化的 on-policy 蒸馏 这篇论文提出 **SEED（Self-Evolving On-Policy Distillation）**，目标是弥补“轨迹级稀疏奖励”和“token 级策略学习”之间的监督缺口。作者把已完成的 on-policy 轨迹转成可复用的自然语言“技能”，再把这些技能带来的行为差异蒸馏回策略模型。这样一来，策略在更新的同时也在改进自己如何总结轨迹，形成一个自我演化的闭环。 ### 核心做法 - 先让策略分析已完成轨迹，提炼出可复用工作流、关键观察和失败规避规则 - 在 RL 过程中，当前策略既负责采样，也负责从轨迹里抽取 hindsight skills - 再把“普通上下文”和“技能增强上下文”下的动作概率差，转成密集的 token 级 on-policy 蒸馏信号 - 这个信号与 outcome-based RL 联合优化，保持辅助监督与当前轨迹分布对齐 ### 结果 - 在文本类与视觉类 agent 任务上都带来稳定提升 - 同时提升性能和样本效率 - 对未见场景也有较强泛化 代码已开源。