MSAR 多流注意力残差:18B/28B MoE 全胜,等损失算力提速 1.58 倍
SJTU · hf · 2026-10-13
上海交大、小红书 Dots Studio 等团队提出 Multi-Stream Attention Residuals(MSAR),把 Attention Residuals(AttnRes)沿深度轴的单流注意力推广为多头深度注意力。
- 机制:通过多尺度因果卷积从序列上下文获取流多样性,各 head 以不同上下文视角检索历史表征,再经轻量自适应混合合并;按需扩展,无需持久多流存储/通信。
- 结果:在 18B 与 28B MoE 规模的全部 12 个下游基准上,一致优于标准残差、mHC 与 AttnRes。
- 效率:scaling law 实验显示相对标准残差基线的等损失计算加速达 1.58×(AttnRes 1.35×,mHC 1.30×),被认为是有前景的大规模预训练残差架构。
项目页:github.com/janke0604/MSAR
「研究」频道最新
- 牛津研究：可在模型权重里加密隐藏任意能力，微调 500 步仍不解密 — zainhas · 2026-10-13
- 小鹏发布4B grounding基础模型GroundingPI,34项基准超GPT-6 Astra — XPENG-AI · 2026-10-13
- 小鹏再推GroundAnything:扩散式并行解码,自推测加速4.51倍 — XPENG-AI · 2026-10-13
- RL 泛化真的差吗：预训练广度或让 AI 泛化强于人类 — yacineMTB · 2026-10-13
- Natura-1 发布：500 亿参数 MoE，百万小时人类视频练灵巧手 — stingning · 2026-10-13
- 高中生用 USB 线串联两台旧安卓手机，本地跑 27B 模型仅 30°C — Grouchy-Zebra9780 · 2026-10-13