把注意力看成不断变宽的 FFN：北邮 MiTA 长序列训练提速 77%
新智元 · wechat · 2026-10-12
北京邮电大学团队提出 Mixture-of-Top-k Attention（MiTA），已被 NeurIPS 2026 接收并开源。核心洞察：标准注意力可写成隐藏层宽度随序列长度增长的 FFN，只是权重由当前输入生成（快权重）。由此把高效注意力统一为「压缩」（线性注意力、Linformer、TTT 等）与「路由」（分块 MoE、Top-k）两条路线，并扩展出五维分类框架。
MiTA 的设计：先提取少量地标查询（Landmark Queries），由它们从完整上下文中选出 Top-k 键值对构成 m 个可复用的可变形路由专家，再用同一组地标通过交叉注意力构造 1 个全局共享专家，查询只需选专家而无需各自构造私有集合，压缩与路由分支共享计算并用在线 Softmax 合并。
实验结果：
- ImageNet-1K 上 DeiT-S 基础版 Top-1 79.8%，与完整注意力仅差 0.1 个百分点；加 DWC 和门控后达 81.2%。
- ADE20K 分割中每查询仅访问 98 个键值对（完整注意力需 1024–1600），FLOPs 最多降 42%。
- LRA 长序列基准平均准确率 58.91%（超过完整注意力），训练时间从 10.6 小时降至 2.4 小时，减约 77%；1024K 长度下推理吞吐量加速约 159 倍。
- arXiv 长文档分类在 16K/32K/64K 上全面领先。
另外观察到两个现象：无剪枝模块却涌现出词元剪枝效应；训练后固定参数、仅推理时更换注意力机制或调整 m、k 即可改变推理预算，实现算法泛化。
「研究」频道最新
- OpenTac 上传 3D 模型 3 秒生成触觉传感器柔性电路,覆盖 93% 面积 — anand_bhattad · 2026-10-23
- arXiv 论文为 StopGrad 正名：无损失函数也能收敛到正确解 — srush_nlp · 2026-10-23
- PEARL 演示：LLM 机器人自主核对实验结果、修正方案并复测 — KevinKaichuang · 2026-10-23
- 伯克利 StyleStream 2.0：流式语音转换延迟降至 520ms 提速一倍 — Berkeley · 2026-10-23
- 数学博士生宣布离开学术界：AI 正让数学变得面目全非 — pickover · 2026-10-23
- ICLR 投稿现 LLM 残留自评：作者模型自曝结果不显著 — _onionesque · 2026-10-23