TRL 引入树形打包:Agentic RL 训练前反向计算提速超 26 倍
joecole · x · 2026-10-16
Hugging Face TRL 团队宣布在 AsyncGRPO 中落地 tree packing(树形打包),把 agentic RL 的训练前向/反向计算量降低超过 26 倍。
- 问题:异步 RL 在大 batch 下效果最好,但长序列(agentic 训练 rollout 常超 10 万 token)使 fwd/bwd 成为主要瓶颈。GRPO 从同一 prompt 分叉 G 次,多轮 rollout 共享大部分历史,而传统 sequence packing 会对每条样本重复前向共享 token。
- 做法:tree packing 用树形数据结构在轨迹间共享前缀,每个唯一 token 只前向一次,同时每个 token 保留自己的 target、advantage 和 previous log-prob。实现从初版 FlexAttention 演进为单次 FA3 varlen 调用。
- 验证:在 dense、滑动窗口、softcap、MoE 和 VLM 模型上与 sequence packing 广泛对比;无法打包时代价约 1%。在 MiMo Envs 的真实 agentic RL 运行中,达到相同 reward 所需训练计算减少 26 倍以上。
所属事件:TRL 引入树形打包，Agentic RL 训练计算提速超 26 倍(2 条相关)→
「Infra」频道最新
- 797GB n-gram 表存进 CPU 内存,1B 规模预训练多榨 57% 算力 — anshulkundaje · 2026-10-16
- 给预训练 Transformer 换上 Titan 模块：推理提速且性能损失有限 — behrouz_ali · 2026-10-16
- NVIDIA Nemotron 3.5 Bolt 74B-A9B 登陆 Ollama，2-bit 量化塞进 24GB 本地跑 — ollama · 2026-10-16
- 商务部向 GlobalFoundries 重新分配 9.55 亿美元芯片补贴，押注硅光子 — pstAsiatech · 2026-10-16
- 马斯克放话要超10GW算力,英伟达把SpaceX列为云客户联合设计太空服务器 — elonmusk · 2026-10-16
- 黄仁勋：马斯克 AI 算力规模已从 K 级跃升至 M 级 — elonmusk · 2026-10-16