腾讯清华 TreeOPSD:无 Critic 实现长程 Agent 强化学习

Tencent-Hunyuan · hf · 2026-10-19

腾讯与清华发布 TreeOPSD，一个 critic-free 的树感知后验自蒸馏框架，用于长程 agentic 强化学习。它把每个交互轮当作树节点，从共享前缀分支出替代延续，递归地把终端奖励回传为隐式轮级信用；再将该信用映射为以似然比参数化的有界闭式教师分布，最小化与学生的散度来约束更新幅度，解决纯终端奖励下信用分配稀疏、高方差与顺序小批量更新带来的策略过时问题。代码与模型见 HF。