改一行代码训练提速 40%:HSDP 让 all-gather 留在 NVLink

FerdinandMom · x · 2026-11-18

作者总结跨节点 LoRA 训练优化的结果:每步耗时减少 40%,token 吞吐提升 1.67 倍,关键在于审视通信拓扑——用 HSDP 让 all-gather 走 NVLink,TCP 只传 LoRA 梯度与样本。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →