Branchy:分支式模型训练让多设备分布式推理提速 1.5-2.6 倍
ManuXD32 · reddit · 2026-11-17
独立开发者 ManuXD32 分享了他针对分布式 LLM 推理瓶颈的实验:传统按层切分模型时,设备越多延迟越高、设备空转严重。他的思路是训练「分支模型」——中间层拆成多个分支并行计算,协调器跑 embedding + 主干层,各分支并行处理后经融合层输出,设备再多也只有最多 2 跳网络延迟,且无设备空转。训练时加入 dropout 容错:某分支超时或掉线时其结果置零,由融合层吸收,显著降低掉线对质量的影响。
实测结果(两个 300M TinyStories 模型,服务器+笔记本+手机经 VPN 组网):
- 分支有质量代价:loss 1.255 vs 1.143,盲测 LLM 评判 45% 情况下仍偏好分支模型;
- 协调器每 token 等 0.1ms 的延迟技巧有效,输出与单机完全一致;
- 相比传统层切分,分支切分快 1.5-2.6 倍;
- 模型能装进单机时切分不值得;真正收益在模型超出内存时:笔记本 mmap 读盘从 8.9 tok/s 跌到 0.67,两设备共享后层切分回到 7 tok/s、分支切分 9-11 tok/s;
- 预训练模型(LFM3 1.7B、Qwen 0.8B)重塑成分支只部分有效,从头训练效果更好。
「Infra」频道最新
- 数商生意内幕:单道题报价 2k-5k 元到 2k 美元,一批订单按百万计 — teortaxesTex · 2026-11-17
- OpenAI 算力「九成以上靠 Nvidia」,烧钱最猛的也是它 — ThereWas · 2026-11-17
- Anthropic 年化营收冲至约 810 亿美元,IPO 在即 — lennysan · 2026-11-17
- 沙箱启动再快也没用:离基础设施 200ms 才是致命伤 — DanielLockyer · 2026-11-17
- 第四届 PyTorch 贡献者奖颁出:15 位得主覆盖 vLLM、Ray、DeepSpeed — PyTorch · 2026-11-17
- NVIDIA 运营 EVP Deb Shoquist 获 2026 创新女性奖 — nvidia · 2026-11-17