MSAR 残差新架构:18B/28B 上等损失算力提速 1.58 倍
LChoshen · x · 2026-11-08
魏茨曼科学研究所 reading group 本周研读论文《Multi-Stream Attention Residuals》(MSAR, Qin et al., 2026)。
- MSAR 把 Attention Residuals(沿深度轴的内容依赖检索)推广为多头深度注意力,通过多尺度因果卷积从序列上下文获取流多样性,再用轻量自适应混合合并检索到的流
- 无需持久的多流存储与通信,额外开销极小
- 在 18B 与 28B MoE 规模的全部 12 个下游 benchmark 上超越标准残差、mHC(Hyper-Connections)与 AttnRes
- Scaling-law 实验显示相对标准残差基线的等损失算力加速为 1.58×(AttnRes 为 1.35×,mHC 为 1.30×)
所属事件:MSAR 多流注意力残差架构实现算力提速 1.58 倍(2 条相关)→
「研究」频道最新
- Inkling 2 Small 架构曝光：594B 总参 17B 激活，RL 消耗近半预训练算力 — teortaxesTex · 2026-11-08
- Looped Transformers 论文:13 层 transformer 可模拟通用计算机 — DimitrisPapail · 2026-11-08
- Science 新论文:约束 AI 社会价值的是制度而非模型 — round · 2026-11-08
- 实验:一个 BOS token 改变 40% 的 LLM 回答 — Full-Travel857 · 2026-11-08
- LittlePly 项目公开论文与仓库,首个阶段已有文档 — andreisavu · 2026-11-08
- LittlePly 公开对局分析站,逐局面展示模型估计与辅助决策 — andreisavu · 2026-11-08