Google 发布 Muir 线性注意力：千万 token 流式处理仅 25MB 状态

Google Research 发布线性注意力新架构 Muir（论文编号 2611.08376），并在 Hugging Face 公开论文与模型。该架构基于 Gated DeltaNet-2，提出按敏感度分配的低秩门控等三项协同设计，仅需 25MB 状态即可流式处理 1000 万 token，训练速度提升 2.7 倍，同时改善了长上下文的召回能力，兼顾效率与性能。

2026-11-07 ~ 2026-11-07 · 3 条相关