TRL 零时差支持微调 Muse Spark Open 并放出示例代码

Hugging Face TRL 对 Meta 新发布的开源模型 Muse Spark Open 提供 day-0 微调支持,可用 SFTTrainer 在 64 张 H100 上对这一总参数 816B、激活参数 42B 的 MoE 模型进行 LoRA 微调。随后作者补充放出完整示例代码与 SLURM 脚本,位于 GitHub 的 huggingface/trl 仓库 sftmusesparkopen 目录,方便开发者直接上手复现。

2026-10-16 ~ 2026-10-16 · 2 条相关