Google 发布线性注意力架构 Muir:长上下文召回与训练速度双提升
google · hf · 2026-11-07
Google 在 Hugging Face 发布名为 Muir 的线性注意力架构论文与模型。其核心设计包括:
- 按敏感度(sensitivity)分配门控容量,配合 matched-filter 读出与稳定的并行更新;
- 在语言建模、长上下文召回和训练速度上均优于 Gated DeltaNet-2 与 Transformer 基线。
配图展示了 needle-in-haystack 测试对比:Muir 的均衡读出让早期(第 600 token 处)埋入的 needle 在流过 8000 token 后仍可稳定读出,而 GDN-2 标准读出下各层信号差异明显。
「研究」频道最新
- Cursor 团队发布报告：稳定 Agentic RL 与自蒸馏结合的训练陷阱 — kvfrans · 2026-11-07
- AI 涨薪还是降薪？论文分解「技术效应」与「重组效应」的博弈 — soumitrashukla9 · 2026-11-07
- Meta 实时数字人技术细节曝光:蒸馏 60 倍加速实现实时无限视频生成 — altryne · 2026-11-07
- 《生成式 AI 数学基础小书》免费覆盖 VAE、扩散、GAN 到能量模型 — kalyan_kpl · 2026-11-07
- Kenneth Stanley 谈 AGI 必需的开放性：给它设计 benchmark 本身是难题 — GregKamradt · 2026-11-07
- GLASS 方法预告:用图聚类与 LLM 无需人工编码即可给开放式回答打分 — GolinoHudson · 2026-11-07