llama.cpp 无训练稀疏解码:128k 上下文解码提速 1.72 倍

topppggg · reddit · 2026-11-16

开发者在 llama.cpp fork 中实现了免训练的 page-sparse decode:把 KV cache 按 64 token 分页,每个 KV head 只读首页、最新 token 和最可能相关的页,128k 时每步解码仅读约 21% 的 cache。选择逻辑遵循 Quest,统计方式借鉴 MOIRA,贡献在于 llama.cpp/CUDA 实现与跨模型端到端测试。

128k 速度与质量(RULER 13 任务×20 prompt):

实际限制:prefill 不变(128k prompt+1024 生成仅快 4–13%);不省 VRAM(全 cache 仍在显存,另加 3–6% 页统计);仅 CUDA、batch=1;低于 32k 反而更慢,默认关闭;256k 时 UltraLong-8B 达 1.86× 但质量检查不完整。

作者强调预注册门槛、如实报告失败:首个版本掉 7.4 RULER 分,初版 CUDA 只跑到 1.05–1.18×,直到修了两个 ggml 内核(其一已作为 llama.cpp #31855 提交上游)。代码在 topppg/llama.cpp 的 sparse-decode 分支,构建后设 LLAMASPARSEDECODE=27648 即可,要求 prompt 超过 32k 且模型与 cache 全在 GPU。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →