百度提出Virtual Head Attention:KV缓存省4-7倍,推理零定制内核
burny_tech · x · 2026-10-19
百度与北大团队提出 Virtual Head Attention(VHA),针对长上下文 LLM 中 KV cache 大小、训练/prefill FLOPs 与模型质量的"不可能三角"给出同时改善的方案。
- 方法:仅用两个轻量线性操作——Q Premix 在每个 KV 组内做 near-identity 变换恢复"虚拟头"多样性(物理头数减半),Linear Postmix 用低秩残差结构 I+ABᵀ 融合 inter-head 特征;全程无非线性操作。
- 核心卖点:推理时 Premix 与 Postmix 可折叠进 Q 投影与输出投影,模型退化为标准 GQA-2 结构,直接复用全部现有 GQA 推理优化,无需定制内核——区别于 MLA。
- 结果:仅用 2 个 KV 头即可在大模型上达到 GQA-4 水平;四个规模(0.6B/1.7B/4B dense、8B-A1B MoE)的 4K 上下文 50B token 预训练中,VHA 一致超越 GQA 基线,4B dense 模型 KV cache 减少 4×、MoE 减少 2×,训练与 prefill FLOPs 降 7.9%(1.7B);工业级 3B-A3B 模型上 12 项基准平均超 MLA 和 GQA-4 +0.702.60%;8B-A1B MoE 长上下文 RULER 8K-128K 平均 84.4 vs GQA 的 73.0,且只分到 2 个 KV 头而非 4 个。
代码已开源(PaddlePaddle/VHA)。
「Infra」频道最新
- 一个 uv 编译参数让 vLLM 启动提速 14-18%，省 18 秒 — vllm_project · 2026-10-19
- Neocloud 收购潮：接盘的都是外行，同行互买毫无意义 — AccBalanced · 2026-10-19
- Jev Router 实测：编码 agent 自动选开源模型省 67-85% 成本 — HowDevelop · 2026-10-19
- 32GB DDR5服务器内存现货涨幅收窄,存储股单日大跌5-7% — tengyanAI · 2026-10-19
- RTX Spark 对决 M5 Max：本机跑 Qwen 3.8 27B 速度对比 — draginol · 2026-10-19
- 约 850 行代码在树莓派上自建 iMessage AI 助手 — lucasgelfond · 2026-10-19