实测 11 个开源模型新注意力架构:128K 上下文显存最高省 139 倍

bariskasikci · x · 2026-11-21

当前很多 LLM 推理分析仍基于 GQA 假设,但最新开源模型早已超越 GQA,转而组合使用 latent cache、滑动窗口、稀疏注意力、压缩缓存与线性注意力等设计。作者用 ServingStudio 对 11 个近期开源模型与 GQA 基准 Qwen3-Coder-480B-A35B 做了对比。

在 128K token 上下文下,新架构带来:

这些架构差异对内存占用和计算效率影响巨大,理解每个模型缓存什么、读取什么、prefill 和 decode 的时间花在哪,对推理服务优化非常关键。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →