MSAR 多头深度注意力架构：18B/28B 上全面超越 AttnRes 与 mHC
SonglinYang4 · x · 2026-10-14
上海交大、小红书 Dots Studio 等机构发布论文 Multi-Stream Attention Residuals（MSAR），将 Attention Residuals（AttnRes）的单流深度注意力推广为多头深度注意力：每个 head 通过不同尺度的多尺度因果卷积、以不同局部上下文窗口检索历史表征，再经轻量自适应混合合并为单流层输入，无需持久化多流存储或通信。
关键结果：
- 在 18B 与 28B MoE 规模的全部 12 个下游基准上，一致超过标准残差、mHC 和 AttnRes；28B 设置下仅增加 0.5% 训练 FLOPs
- Scaling-law 实验显示相对标准残差基线的 iso-loss 计算加速达 1.58×（AttnRes 为 1.35×，mHC 为 1.30×）
作者称 MSAR 是大规模预训练中很有前景的残差架构，项目页已开源在 GitHub。
所属事件:MSAR 多流注意力残差架构在 MoE 模型上全面超越现有方案(2 条相关)→
「Infra」频道最新
- 混合精度+混合加速器采样器跑 RL，配合 off-policy 校正稳定收敛且更省成本 — xiuyu_l · 2026-10-14
- Vercel 构建提速：文件准备平均快 20%，LFS 项目快 54% — cramforce · 2026-10-14
- IBM 联合 Fugaku 完成迄今最大 12635 原子量子化学模拟 — aronchick · 2026-10-14
- AI 算力公司 Fluidstack 大举扩张，开放 200+ 职位瞄准数 GW 级规模 — MxMnr · 2026-10-14
- 实测揭示：同一模型不同供应商，每任务成本差距可达 9 倍 — ArtificialAnlys · 2026-10-14
- Apple 发布 Minions:把闲置 Mac 的 GPU 组成云端跑推理 — MikePFrank · 2026-10-14