改一行代码训练提速 40%:HSDP 让 all-gather 留在 NVLink
FerdinandMom · x · 2026-11-18
作者总结跨节点 LoRA 训练优化的结果:每步耗时减少 40%,token 吞吐提升 1.67 倍,关键在于审视通信拓扑——用 HSDP 让 all-gather 走 NVLink,TCP 只传 LoRA 梯度与样本。
「编程与Agent」频道最新
- Cursor 被曝已上线 Origin:面向 agent 时代的 git forge — himanshustwts · 2026-11-18
- Sysdig CISO:LLM 能改写约束自己的 harness,治理必须放在外部 — massimosgrelli · 2026-11-18
- shadcn 详解 agent-first 的 UI SDK:工具调用减少 50%、token 省 75% — shadcn · 2026-11-18
- AI 已读完知识库 20% 文档,但仅 1.3% 可信,Slite 出免费手册 — femke_plantinga · 2026-11-18
- Rust lint 工具 oxlint 周下载量破 5000 万,三周新增 1000 万 — cnakazawa · 2026-11-18
- AI 驱动的 Sashiko 0.9.4 发布,实验性评估内核补丁集设计 — Fcking_Chuck · 2026-11-18