SlideDP:4 张 RTX 4090 微调 Qwen2.5-72B,吞吐超 FSDP2 11.2%
Ruijia Yang · hf · 2026-10-01
- 问题:host-resident 分层流式微调可在 GPU 显存外做全参数微调,但数据并行各 rank 争抢共享主机资源:复制传输放大流量,强扩展又暴露 CPU 瓶颈。
- 方案:SlideDP 是共享主机多 GPU 系统上的同步数据并行运行时:维护单一权威主机状态、把通信路由与状态布局解耦、跨 rank 与 chunk 流水线化参数下发、梯度聚合和 CPU 更新;并给出解析的 step-time 模型定位资源瓶颈。
- 结果:等 batch 扫描下,对 SlideFormer/MegaTrain/ZeRO-Offload 的几何平均吞吐比达 1.46–2.64 倍;4 张 H100 上逼近 GPU 常驻 FSDP2 的 Qwen3-14B 吞吐,大 batch 时每步处理超 100 万 token、超过 FSDP2 实测峰值 11.2%;支持 256K 长序列,并用 4 张 RTX 4090 微调了 Qwen2.5-72B。代码已开源。
「Infra」频道最新
- 美国 BIS 新规封堵第三国数据中心远程调用 AI 芯片 — teortaxesTex · 2026-11-16
- Qdrant 1.20.1 发布:冷存储读取减半、量化提速 2 倍 — qdrant_engine · 2026-11-16
- 16GB 显卡本地跑通全套 AI:生图作曲配音视频加 RAG 问答 — llama-of-death · 2026-11-16
- Starlink 在希腊护火车防追尾:134 台机车定位精度达 5 厘米 — XFreeze · 2026-11-16
- Google 将 Agent Substrate、gVisor、OpenRL 捐给 CNCF,Agent 运行底座 1.0 GA — dl_weekly · 2026-11-16
- 英伟达丑闻未完:黄仁勋的千亿美元权力网成焦点 — The Verge AI · 2026-11-16