TRL AsyncGRPO 上线 Tree Packing,同等奖励省 26 倍训练算力
SergioPaniego · x · 2026-10-15
- Hugging Face TRL 的 AsyncGRPO 合入 tree packing:GRPO 从同一 prompt 采样 G 次,分叉的多轮 rollout 共享大部分历史,sequence packing 仍对每个样本重复前向共享 token,tree packing 让每个唯一 token 只前向一次。
- 实现从初版 FlexAttention 换成单次 FA3 varlen 调用,每个 token 保留自己的 target、advantage 和 previous log-prob;已在 dense、sliding-window、softcap、MoE、VLM 模型上与 sequence packing 对比验证,无法打包时代价约 1%。
- 在 MiMo Envs 的真实 agentic RL 运行中,达到同等 reward 所需 trainer 算力降低 26 倍。
「Infra」频道最新
- patio11 初试多智能体开发:明确是未来,推理量将暴涨 — IgorCarron · 2026-10-15
- Hugging Face Hub 模型张量检查提速最高 20 倍，DeepSeek-V3.2 从 9.2 秒到 0.45 秒 — victormustar · 2026-10-15
- 日本 RTX 5060 Ti 16GB 价格飙 144% 至 $1292，黑五恐难有折扣 — chemist_slime · 2026-10-15
- Fish Audio Drama 3 登陆 vLLM:35B 语音模型单卡 H200 跑 128 路并发 — vllm_project · 2026-10-15
- 1174 台 Mac 组网跑开源模型:Darkbloom 60 天增 4.5 倍,成本砍半 — gajesh · 2026-10-15
- 曝字节跳动洽购联发科定制 AI 芯片，效仿谷歌自研路线 — mark_k · 2026-10-15