xHC：把残差流扩到16倍
teortaxesTex · x · 2026-07-17
这篇内容围绕一种名为 **xHC** 的新结构展开，目标是把残差流进一步扩展，从而提升模型容量与表达能力。 文中提到，早期的 Hyper-Connections、mHC 已经证明“残差流不必只有单一路径”这件事可行，但原有设计在扩展到更高规模时仍然受限。作者提出的 xHC 通过 **temporal feature augmentation** 和 **稀疏残差流架构**，试图同时解决“写回组件共享”和“生成成本随规模增长过快”的问题，并声称可以把 residual stream 有效扩展到更宽的规模（文中提到约 16 倍）。
所属事件:xHC新架构：将Transformer残差流扩展为并行多流(2 条相关)→
「研究」频道最新
- Stanford 和 Anthropic 用图记忆让 agent 代码准确率提升 36% — blaizedsouza · 2026-07-21
- BaoCut 集成 MOSS-Transcribe-Diarize-0.9B 做说话人转写 — dotey · 2026-07-21
- Fast-FoundationStereo 把零样本双目匹配推到实时速度 — rsasaki0109 · 2026-07-21
- 昆仑万维发布 Matrix-Game 3.5，主打实时世界模型生成 — 智东西 · 2026-07-21
- 阿里 RynnBrain 1.1 把具身基础模型扩到 122B-A10B — Alibaba-DAMO-Academy · 2026-07-21
- GEPO 用组熵改造 GRPO，在 13 项基准上更稳更强 — internlm · 2026-07-21