Hugging Face TRL 重大提速:AsyncGRPO 训练步最高快 3.5 倍
ben_burtenshaw · x · 2026-09-23
开发者正为 Hugging Face TRL 中的 AsyncGRPO 做重大性能优化,训练步目前已提速至最高 3.5 倍。
核心思路:在 GRPO 中,同一条 prompt 会采样 G 次,multi-turn rollout 在工具调用场景下对话历史大部分相同、只有后缀不同。优化利用 message-level tokenization 让多条 rollout 共享长前缀,并通过样本打包(sample packing)把注意力开销均衡分配到各 DP rank 上,从而大幅降低重复计算。
AsyncGRPO 此前已包含多项打包优化,这次改进进一步压缩了 rollout 阶段的冗余成本。
「Infra」频道最新
- 地理空间数据栈全景图发布：从卫星观测到 AI 上下文基础设施 — clemnt · 2026-11-11
- 降价反而更贵:新模型太爱自查，单任务成本涨31% — tengyanAI · 2026-11-11
- Anthropic IPO 需求火爆传拟上调定价，目标估值 1.4 万亿美元 — firstadopter · 2026-11-11
- 本地 LLM 路由器 SimpleHarn：显存不够就拒绝加载模型 — legislat · 2026-11-11
- Rivet 推出 SQLite Forking:20ms 分叉 agent 线程且零数据拷贝 — samgoodwin89 · 2026-11-11
- 法国网友提议数据中心向周边居民付费补偿 — clemnt · 2026-11-11