Diffusers 张量并行加载升级：Flux.2-Dev 加载提速 2.4 倍

RisingSayak · x · 2026-10-01

Hugging Face Diffusers 的张量并行（TP）加载能力大幅升级：在 Flux.2-Dev DiT 模型上，TP 度为 4（A10G GPU）时，加载时间从 30.4 秒降至 12.5 秒，每 rank 峰值 CPU 内存从 64.1 GB 降至 6.8 GB，约 2.4 倍加载提速、节省 89% CPU 内存。

此前 TP 推理需要在每个 rank 上加载完整 checkpoint 再重新切分；升级后 frompretrained() 支持边读取边切分，每个 rank 只从磁盘读取自己负责的权重，直接落到设备上的 DTensor，savepretrained() 也已支持 TP 感知保存。不支持与 devicemap、量化、flashpack 等组合使用。