小红书 Dots 提出 MSAR:等损失下训练算力提速 1.58 倍
teortaxesTex · x · 2026-10-14
Dots(小红书)等机构发布论文,提出 MSAR(Multi-Stream Attention Residuals),将 Kimi 的 AttnRes 单流残差检索推广为多头深度注意力。要点:
- 方法:用低成本多尺度因果 depthwise 卷积构造多流表征,做逐流深度注意力,再以轻量标量混合聚合;Block MSAR 只存单流块摘要、按需展开多流,存储从 O(mNd) 降到 O(Nd),与 AttnRes 成本持平。
- 实验:在 18B/28B MoE 预训练上,MSAR 平均成绩显著超 Vanilla、mHC 与 AttnRes(18B 平均 45.7 vs Vanilla 37.5),最终训练损失最低(1.750)。
- 结论:iso-loss 计算加速 1.58×(AttnRes 1.35×、mHC 1.30×),是深度方向 scaling 的有效路线。
所属事件:上交大与小红书提出 MSAR 注意力架构(3 条相关)→
「Infra」频道最新
- 光子训练 1B GPT-2:绕过反向传播的 DFA 光学预训练登上 PNAS — IgorCarron · 2026-10-14
- 哈密—重庆特高压通电：16ms 送绿电 2000 公里喂 AI — 96Stats · 2026-10-14
- 关键 API 从 Node 迁到 Bun：p99 延迟降 80%，内存省 63% — DanielLockyer · 2026-10-14
- Agent 流量难倒推理服务器:长前缀缓存命中决定成本 — rohanpaul_ai · 2026-10-14
- LightVAE 视频解码提速 2.24 倍，VBench 分数保留 99.5% — Shiqiao Gu · 2026-10-14
- 轨道数据中心没有物理断电开关,Reddit 热议 AI 安全悖论 — Zappy_Oh · 2026-10-14