UIUC 等四校提出 Multi-Branch Transformer 并行分支扩展法

UIUC、Rice、Cornell 等多所高校团队提出 Multi-Branch Transformer(MBT),跳出传统「加宽或加深」的扩展路径,改为并行组合多个完整的 Transformer 分支。该方法通过共享初始层降低冗余,在相同损失下可节省约 1.26 倍算力,同时提升模型质量与推理效率,被视为 LLM 扩展的一条互补新路线。

2026-11-18 ~ 2026-11-19 · 3 条相关