TRL v1.17 发布:支持 Mistral Large 4,单节点 1T 参数跑 LoRA 微调

SergioPaniego · x · 2026-10-30

TRL v1.17 发布,主要更新:支持 Mistral Large 4(官方称其 Le Chonk 拥有 1T 参数);AsyncGRPO 默认启用 score centering;线性注意力模型的树注意力支持;AsyncGRPOTrainer 更快的 rollout 与 packing;跨 tokenizer 蒸馏;AMD GPU 支持。官方称现在可在单个 B300 节点上用 TRL 为 1T 参数模型训练小型 LoRA 适配器。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →