VHA 注意力新方法：KV 缓存减 4 倍，长上下文 RULER 84.4 超 GQA 的 73.0

pmttyji · reddit · 2026-10-23

论文提出 Virtual Head Attention（VHA），同时改善长上下文注意力中的「不可能三角」：KV 缓存大小、训练/prefill 算力与模型质量。

要点：

GQA 质量好但 KV 缓存开销大，MLA/MFA 压缩缓存却各有质量或算力代价；VHA 用两个轻量线性操作（Q Premix 与 Linear Postmix）同时优化三项。
两个操作都无非线性，推理时可折叠进 query/output 投影，模型退化为标准 GQA-2 架构，直接复用全部现有 GQA 推理优化。
实验结果：4 个规模、4K 上下文 50B token 预训练下全面超过 GQA 基线（+0.05%+0.81%），KV 缓存较 GQA-8 减少 4 倍、MoE 规模较 GQA-4 减少 2 倍，训练/prefill FLOPs 降低 7.9%。
工业级 30B-A3B MoE（500B token、8K 上下文）上比 MLA 和 GQA-4 分别高出 +0.70% 和 +2.60%；10B-A1B 长上下文对比中 RULER 平均分 84.4 对 GQA 的 73.0，且全注意力层只用 2 个 KV 头。

开源了 arXiv 论文与 GitHub（PaddlePaddle/VHA）。

「Infra」频道最新