Multi-Branch Transformer:并行分支扩展 LLM,同损失省 1.26 倍算力
KyeGomezB · x · 2026-11-18
UIUC、Rice、Cornell 等机构团队提出 Multi-Branch Transformer(MBT),跳出「加宽或加深」的传统扩展路径,改为并行组合完整 Transformer 块。
- 更好的扩展性:在受控预训练扩展阶梯上,同等训练算力下 MBT 的语言建模质量更优;拟合曲线显示标准 Transformer 需要多达 1.26 倍训练算力才能追平 MBT 的验证损失。
- 稳定规律:两个分支时,约 1/3 的块放在并行分支损失最低,直到并行占比接近 80% 才退回标准模型水平。
- 更快解码:配合 Joint-KV cache 共享与分支感知推理引擎,单张 H200 吞吐最高提升 51.4%,KV cache 存储最多省 34%。
代码与项目页已开源。
「Infra」频道最新
- TokScale 榜单:第一名单人烧掉 4.6T tokens,估算成本 243 万美元 — olcan · 2026-11-18
- The Verge 深挖微软 Outlook 大规模宕机:原因与修复为何耗时 — tomwarren · 2026-11-18
- vLLM 发布 Kimi K3.1 Pro 投机解码草稿模型,接受长度最高提升 30% — vllm_project · 2026-11-18
- Wonderful 自研语音模型基于 Together AI,首句延迟仅 274ms — togethercompute · 2026-11-18
- Anthropic S-1 揭示仅 25% 算力用于推理,投资人直呼看空 — toptickcrypto · 2026-11-18
- LanceDB 融资 5750 万美元 B 轮,瞄准 AI 时代的多模态数据栈 — pzakin · 2026-11-18