Google 发布 Muir 线性注意力架构：25MB 状态流式处理 1000 万 token
CategoryNormal149 · reddit · 2026-11-07
Google Research 发布线性注意力论文 Muir（Linear Attention with Sensitivity-Allocated Gating and Matched-Filter Readout），核心卖点是只用 25 MB 固定状态流式处理 1000 万 token——同等长度下 1.3B Transformer 的 KV cache 高达 2.1 TB（即使 2.5-bit 量化仍需 0.32 TB）。
论文解决了 gated delta 类模型（如 GDN-2）在 100B token 训练中暴露的三个瓶颈：
- 慢通道能量堆积 100 倍（glare）：引入 matched-filter readout，用反分数幂律均衡行能量并做逐 token query 调制，写期擦除减少 17%，回看距离延长 60%。
- 写/擦除敏感度差 13 倍：将 5 个门融合为单个 rank-512 投影，门参数减少 4.5 倍，在同等参数预算下把 FFN 加宽 30.4%。
- 数值稳定的大 chunk 并行核：boundary-pivoted 乘性衰减避免 fp32 下溢（原方案 25% 的 head 会 NaN），递归 block-Neumann 求解器把 98% 的 chunk 内 FLOPs 转移到矩阵单元。
结果：在所有规模上困惑度与零样本推理均优于 GDN-2 和 Transformer（对 GDN-2 有 1.2 倍 token 效率），32K 长度训练速度比 Splash Attention 快 2.7 倍；RULER 5-hop 变量追踪根保留率从 28.4% 提到 48.0%，8K 早期深度召回从 1% 提到 31%；1M token passkey 达 90.0% 零样本 / 99.4%（cooldown 后），而 GDN-2 在 4K-8K 后崩溃、Transformer 超过 64K 就 OOM。
所属事件:Google 发布 Muir 线性注意力：千万 token 流式处理仅 25MB 状态(3 条相关)→
「研究」频道最新
- Epoch AI 研究员呼吁公开 AI 加速研发报告关键证据，估计 AI 可带来约 2 倍提速 — Jsevillamol · 2026-11-07
- Humanoids at the Edge 研讨会征稿延期至 11 月 12 日，聚焦极端环境人形机器人 — omarsar0 · 2026-11-07
- 对话轮次间隔仅 200ms:双工语音要在『听』时就把话说好 — smolix · 2026-11-07
- Higgs 实时双工语音为何选 160ms 步长:人类决策的节拍 — smolix · 2026-11-07
- 字节实验显示 Full Bandwidth Transformer 或以一半规模对等两倍大模型 — DimitrisPapail · 2026-11-07
- Ai2 携十余篇论文亮相 CoRL 2026,MolmoAct2 等机器人研究集中展示 — allen_ai · 2026-11-07