MSAR 多流注意力残差架构在 MoE 模型上全面超越现有方案

上海交通大学、小红书 Dots Studio 等机构联合发布论文，提出 Multi-Stream Attention Residuals（MSAR）多头深度注意力架构。该架构针对 Attention Residual 的改进，在 18B 和 28B 的 MoE 模型上全面超越 AttnRes 与 mHC 等现有方法，并在等损失算力条件下实现 1.58 倍的加速，展示了多流注意力残差设计在提升模型效率与性能上的潜力。

2026-10-13 ~ 2026-10-14 · 2 条相关