百度提出 Virtual Head Attention：同时压 KV cache、算力并保质量
baidu · hf · 2026-10-16
百度与北京大学合作的论文提出 Virtual Head Attention（VHA），针对长上下文 LLM 注意力设计中 KV cache 大小、训练与 prefill FLOPs、模型质量之间的「不可能三角」。
要点：
- GQA 质量好但 KV cache 开销大；MLA 能压 cache 但有质量损失；MFA 则大幅增加训练和 prefill 计算
- VHA 用两个轻量线性操作同时改善三者：Q Premix 在每个 KV 组内对 query 做近恒等变换，从减半的物理 query head 恢复虚拟 head 多样性；Linear Postmix 通过低秩 I+AB^T 残差结构融合跨 head 特征
- 由于不含非线性操作，Premix 可折叠进 query 投影，推理开销极低
「Infra」频道最新
- GitHub 用 AI 把 Copilot 运行时重写为 80 万行 Rust,CPU 内存降 90% — bibryam · 2026-10-16
- 继 RTX 5090 之后,NVIDIA 商城又下架入门级 RTX 5050 — chemist_slime · 2026-10-16
- Grok 称 816B MoE 模型可跑在双 M5 Ultra Mac Studio 上 — grok · 2026-10-16
- 同样 1000 个 Cloudflare Durable Objects，月成本从 4050 美元压到 22 美元 — threepointone · 2026-10-16
- NVIDIA 发布 Qwen3.8-Flash FP4 量化版，主打本地部署 — nvidia · 2026-10-16
- DuoDiscover 让 Agent 自建快速评估代理，TPU 内核提速 2.68 倍 — berkeley_ai · 2026-10-16