TRL v1.15 融合 LM head,峰值显存省 82%、序列长 7 倍

QGallouedec · x · 2026-10-09

Hugging Face TRL 发布 v1.15,官方称之为史上最大优化。默认开启的 Fused LM head 带来:峰值 VRAM 最高降低 82%、可训练序列长度提升 7 倍;DPO 可处理序列从 10k 增至 59k tokens,GRPO 从 29k 增至 115k tokens。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →