NVIDIA 研究员回应线性注意力之争:8B 混合架构早于 MiniMax-01 七个月

ctnzr · x · 2026-10-18

围绕「线性注意力是否是中国实验室的宣传」的争论,NVIDIA 研究员 @ahatamiz1 回应称:让线性注意力在规模上跑通确实需要实力,但其他论点站不住脚。他列出 NVIDIA 2024 年 6 月的工作(arXiv:2406.07887):在相同数据上训练至 3.5T tokens,对比 8B Mamba、Mamba-2 与 Transformer;其中 43% Mamba-2 + 7% attention + 50% MLP 的混合架构在全部 12 项标准任务上超过 8B Transformer(平均 +2.65 分),生成速度最高快 8 倍,并在 23 项长上下文任务上持平或更优。这一工作比 MiniMax-01 早七个月、比 Qwen3-Next 早十五个月、比 Kimi Linear 早十六个月,反驳了「西方实验室为何选择丢弃上下文而非压缩」的隐含指控。