Branchy:分支式模型训练让多设备分布式推理提速 1.5-2.6 倍

ManuXD32 · reddit · 2026-11-17

独立开发者 ManuXD32 分享了他针对分布式 LLM 推理瓶颈的实验:传统按层切分模型时,设备越多延迟越高、设备空转严重。他的思路是训练「分支模型」——中间层拆成多个分支并行计算,协调器跑 embedding + 主干层,各分支并行处理后经融合层输出,设备再多也只有最多 2 跳网络延迟,且无设备空转。训练时加入 dropout 容错:某分支超时或掉线时其结果置零,由融合层吸收,显著降低掉线对质量的影响。

实测结果(两个 300M TinyStories 模型,服务器+笔记本+手机经 VPN 组网):

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →