TRL 引入树形打包，Agentic RL 训练计算提速超 26 倍

Hugging Face TRL 团队在 AsyncGRPO 中合入 tree packing(树形打包)技术。由于 GRPO 会从同一 prompt 采样 G 次,分叉的多轮 rollout 共享大部分历史轨迹,树形打包利用这一特性,将 agentic RL 训练前向/反向的计算量降低超过 26 倍,在获得同等奖励的前提下大幅节省训练算力,显著提升训练效率。

2026-10-15 ~ 2026-10-16 · 2 条相关