UIUC 等四校提出 Multi-Branch Transformer 并行分支扩展法
UIUC、Rice、Cornell 等多所高校团队提出 Multi-Branch Transformer(MBT),跳出传统「加宽或加深」的扩展路径,改为并行组合多个完整的 Transformer 分支。该方法通过共享初始层降低冗余,在相同损失下可节省约 1.26 倍算力,同时提升模型质量与推理效率,被视为 LLM 扩展的一条互补新路线。
2026-11-18 ~ 2026-11-19 · 3 条相关
- Multi-Branch Transformer:并行分支扩展 LLM,同损失省 1.26 倍算力 — KyeGomezB · 2026-11-18
- UIUC 等四校提出 Multi-Branch Transformer:分支并行提升质量与推理效率 — Gaotang Li · 2026-11-18
- Multi-Branch Transformer:分支并行扩展 LLM,解码提速 51.4% — _akhaliq · 2026-11-19