xHC新架构:将Transformer残差流扩展为并行多流
新论文提出 xHC(Expanded Hyper-Connections)结构,旨在扩展 Transformer 的残差流。该结构将残差流扩展为 N 个并行流(例如扩大至 16 倍),以此突破早期 Hyper-Connections 的限制,从而有效提升模型的容量与整体表达能力。
2026-07-17 ~ 2026-07-18 · 2 条相关
- xHC:把残差流扩到16倍 — teortaxesTex · 2026-07-17
- xHC:扩展残差流的新论文 — burny_tech · 2026-07-18