BAAI 提出 CoWA 注意力架构,128K 上下文推理大幅提速

BAAI 研究者提出 CoWindow Attention(CoWA),针对全注意力中每个头重复暴露于完整因果历史造成的冗余计算与访存问题,利用互补窗口将远端上下文分配到各 KV 头,所有头共享近对角与前缀 sink 区域,把全因果覆盖转为集体属性。实验显示该架构在 128K 上下文下前向加速 7.4 倍,训练可节省 28.5% 的 FLOPs,同时训练延迟显著降低。

2026-09-29 ~ 2026-09-29 · 2 条相关