UIUC 等四校提出 Multi-Branch Transformer:分支并行提升质量与推理效率
Gaotang Li · hf · 2026-11-18
- 核心思路:不再单纯把 Transformer 加宽或加深,而是探索「分支」这一互补路径——Multi-Branch Transformer (MBT) 通过共享初始层,并行执行多个独立参数化的块分支,再融合输出经共享末层。
- 三种变体:在匹配训练算力下研究 Wide-Shallow(保持块宽)、Narrow-Deep(保持序列深度)与 Balanced(折中)三种设计。
- 实验结果:在 0.8B 到 2.1B 参数、四个 MoE 模型规模的受控预训练实验中,2 分支 Wide-Shallow MBT 在匹配参数与训练算力预算下持续优于顺序 Transformer;Balanced MBT 进一步提升;分支数从 2 增到 3 或 4 质量仍可比。
- Joint-KV:引入从各深度分支表示构建共享 KV 缓存的 Joint-KV,配合利用分支分组与共享缓存复用的推理引擎,改善长上下文推理效率。
- 作者团队:Gaotang Li、Lingjie Chen 等,来自 UIUC、Rice、密歇根、Cornell。
所属事件:四校提出 Multi-Branch Transformer 并行扩展 LLM(3 条相关)→
「Infra」频道最新
- 投资人感叹:市场对不确定性的厌恶盖过了英伟达财报赚钱能力 — MartinGTobias · 2026-11-19
- SGLang 宣布为新模型 DaisyRose-27B 提供 Day-0 支持 — ying11231 · 2026-11-19
- Linux LTS 补丁洪峰将至:单日 3318 个补丁,「人类根本审不完」 — pkqzy888 · 2026-11-19
- DaisyRose-27B 背后:自建沙箱服务降本 80%,百万次运行成功率 99.95% — BanghuaZ · 2026-11-19
- 腾讯 220B Hy4-flash 量化版压到 49GB,64GB 显存即可跑 — gladkos · 2026-11-19
- 开源 GPU 资源管理器 Berth:多 GPU 调度、引擎停驻与显存防抢占 — Distinct-Pie2389 · 2026-11-19