实测 11 个开源模型新注意力架构:128K 上下文显存最高省 139 倍
bariskasikci · x · 2026-11-21
当前很多 LLM 推理分析仍基于 GQA 假设,但最新开源模型早已超越 GQA,转而组合使用 latent cache、滑动窗口、稀疏注意力、压缩缓存与线性注意力等设计。作者用 ServingStudio 对 11 个近期开源模型与 GQA 基准 Qwen3-Coder-480B-A35B 做了对比。
在 128K token 上下文下,新架构带来:
- 显存:单请求最多节省 139 倍
- Decode:读取字节数最多减少 250 倍,注意力最快加速 44 倍
- Prefill:注意力 FLOPs 最多减少 183 倍,注意力最快加速 46 倍
这些架构差异对内存占用和计算效率影响巨大,理解每个模型缓存什么、读取什么、prefill 和 decode 的时间花在哪,对推理服务优化非常关键。
「Infra」频道最新
- 投资人称英伟达算力兜底不可怕:至少三家竞品正争夺「AI 央行」 — GavinSBaker · 2026-11-21
- Anthropic 已递交纳斯达克上市申请,博主劝你先在本地存一个开源模型 — alex_verem · 2026-11-21
- 微软推 MAI Licensed Weights:可带走前沿模型权重部署到自有环境 — marlene_zw · 2026-11-21
- Looped CED 论文:循环复用编码器 KV 缓存省 36.8 倍内存 — teortaxesTex · 2026-11-21
- Google:Agent 是会话不是请求,GKE 节点池要按会话来规划 — rseroter · 2026-11-21
- 英伟达年内跌超53%,Reddit 热议 2027 年或迎廉价 GPU — Markus2816 · 2026-11-21