CoWA/MALA 注意力论文:128K 上下文前向加速 7.4 倍,训练省 28.5% FLOPs
BitExternal4608 · reddit · 2026-09-29
作者分享两篇探索注意力冗余计算的论文:
- CoWindow Attention (CoWA):用互补窗口把远端上下文分布到各 KV 头,局部与 prefix-sink 窗口共享;每个头稀疏注意,但其可见位置的并集覆盖全部因果历史。该模式由位置定义,无需可学习的 router 或 indexer。
- MassAlloc Attention (MALA):保留完整因果 QK 打分,再利用注意力自身的 softmax 统计量决定某个 tile 是否执行后续计算,降低低贡献的后置打分工作,训练与推理共用同一容差。
两种方法均支持训练前向/反向与推理 prefill/decoding。在 8 张 H100、TP=8、128K tokens 下,相对 FullAttn 的注意力算子加速:CoWA 前向 7.4x/反向 8.6x/解码 3.0x;MALA 为 2.2x/3.0x/1.6x(注意是算子级而非端到端)。
扩展性方面,从 0.6B 到 14B 做了评估,并在 32B 上做继续训练实验:14B、32K 上下文下,CoWA 总训练 FLOPs 减少 28.5%,MALA 减少 23.1%,模型能力与 FullAttn 相当。作者强调:集体覆盖不等于与稠密注意力的逐头一致,MALA 仍需支付完整 QK 打分成本,均非通用无损等价。
论文:CoWA arXiv:2609.32704,MALA arXiv:2609.32712。
所属事件:BAAI 提出 CoWA 注意力架构,128K 上下文推理大幅提速(2 条相关)→
「Infra」频道最新
- iPhone 白拿思路：42 个月 0% 分期，靠夜里跑 AI 赚钱回本 — SuB8u · 2026-10-25
- 4B 模型单卡 A100 微调 27 分钟，MMLU 式字母题 66.7% 升至 74.5% — MaziyarPanahi · 2026-10-25
- 飞行中实测 Starlink WiFi 达 408Mbps，超美国九成家庭宽带中位数 — elonmusk · 2026-10-25
- 马斯克：在月球用月壤硅铝造 AI 卫星，地球发射撑不起每年 500-1000 太瓦 — elonmusk · 2026-10-25
- 模型路由创业者发帖征集:大厂四强之外,你在生产环境用什么模型? — Remarkable-Guille · 2026-10-25
- Ultrapolis 作者拆解 60fps 全 AI 渲染每帧的技术细节 — mflux · 2026-10-25