上交大提出 MSAR 残差架构，iso-loss 训练效率提升 1.58 倍

burny_tech · x · 2026-10-20

上海交大联合团队发布论文《Multi-Stream Attention Residuals》(MSAR)，针对标准残差连接随模型加深导致早期信息稀释的问题提出新方案。

核心机制

• 标准 Transformer 残差流将所有前层信息压缩进单一隐状态，深层模型难以取用早期信息；Hyper-Connections(mHC)引入多流、AttnRes 引入深度轴注意力检索，MSAR 则将 AttnRes 泛化为「多头深度注意力」。
• MSAR 通过多尺度因果卷积从序列上下文获取流的多样性，不同 head 以不同视角检索历史层表征，再经轻量自适应混合生成单流层输入；按需扩展流，无需持久的多流存储与通信。

实验结果

• 在 18B 与 28B MoE 规模的 12 项下游基准上，MSAR 全面超越标准残差、mHC 与 AttnRes。
• 基于 scaling law 拟合，MSAR 相对标准残差实现 1.58× iso-loss 计算加速（AttnRes 为 1.35×，mHC 为 1.30×），而每步仅增加约 0.5% 训练 FLOPs。

作者认为 MSAR 是大规模预训练中很有前景的残差架构选择。

原文链接 →

「研究」频道最新

• MoCaP：让机器人从人类日常视频零样本学会移动操作 — sherryyangML · 2026-10-20
• 4000万张人脸 foundation model 登柳叶刀：可预测癌症预后与生物学年龄 — EricTopol · 2026-10-20
• GRPO 用于多轮智能体训练易崩溃，长文剖析优势估计稳定化方案 — burkov · 2026-10-20
• 从记忆容量推导出 Transformer：外积存储容量约 2 倍键维度 — burny_tech · 2026-10-20
• UIUC 论文:仅更新 0.1% 参数即可复现 85% RL 训练收益 — burny_tech · 2026-10-20
• 前沿模型已饱和「匹配人类分布」小基准 persimmon — noahdgoodman · 2026-10-20

更多「研究」频道 AI 资讯 →