Muir 线性注意力架构：流式千万 token 仅需 25MB 状态，训练快 2.7 倍
_akhaliq · x · 2026-11-07
Google 研究者发布线性注意力新架构 Muir（论文 2611.08376），在 Gated DeltaNet-2 基础上做了三项协同设计：
- 按敏感度分配的低秩门控：分析发现状态更新对 erase 门远比对 write 门敏感，erase 门可参数化为低秩；省下的参数投给更宽的 FFN（iso-params 下宽 30.4%）。
- 匹配滤波读出：修复慢衰减通道累积 100 倍范数造成的"眩光"干扰，1.34B 模型 5-hop 变量追踪保留率提升 19.6 个百分点。
- 免除法的块 Neumann 核：并行更新适配 TPU 等大矩阵单元加速器。
效果：166M–1.34B 规模上困惑度较 GDN-2 降 1.8–2.0%、较 Transformer 降 2.5–6.0%；常驻 25MB 状态流式处理 1000 万 token 不漂移，1M passkey 检索近 100%；32K 长度下训练比 Transformer 快 2.7 倍。
所属事件:Google 发布 Muir 线性注意力：千万 token 流式处理仅 25MB 状态(3 条相关)→
「研究」频道最新
- RareDiseaseBench 发布:35 例罕见病诊断,最强模型通过率仅 43.8% — kenbwork · 2026-11-07
- VIALS 基准:161 项生科图像判读任务,前沿模型远逊博士 — niloofar_mire · 2026-11-07
- Sleep-time Compute：让模型离线预思考，测试时算力省 5 倍 — RLanceMartin · 2026-11-07
- 康奈尔 Trainspotting:从 Wikimedia 31 万张散拍照片重建 1.2 万个 3D 物体 — Jimantha · 2026-11-07
- MIT Media Lab 推出 Drift Calibrator:实时可视化 AI 谄媚与毒性漂移 — patpat_mit · 2026-11-07
- OpenAI 发布 LifeVal 基准:用数千 ChatGPT 用户反馈测日常任务能力 — OpenAI · 2026-11-07