llama.cpp 无训练稀疏解码:128k 上下文解码提速 1.72 倍
topppggg · reddit · 2026-11-16
开发者在 llama.cpp fork 中实现了免训练的 page-sparse decode:把 KV cache 按 64 token 分页,每个 KV head 只读首页、最新 token 和最可能相关的页,128k 时每步解码仅读约 21% 的 cache。选择逻辑遵循 Quest,统计方式借鉴 MOIRA,贡献在于 llama.cpp/CUDA 实现与跨模型端到端测试。
128k 速度与质量(RULER 13 任务×20 prompt):
- Qwen3-30B-A3B Q4KM @ RTX 5090:46.1→79.2 tok/s,1.72×,RULER 仅 −1.0,通过;
- 同模型 Q80 @ 4090 48GB:1.41×,−0.6 通过;
- Qwen3-8B-YaRN @ 3090:1.68×;Llama-3.1-8B:1.64×,均通过;
- Llama-3.2-3B:1.38× 但 −4.5 分失败(多针检索平均掉 11.5 分,单针不变),作者不建议在此预算下用于多事实检索。
实际限制:prefill 不变(128k prompt+1024 生成仅快 4–13%);不省 VRAM(全 cache 仍在显存,另加 3–6% 页统计);仅 CUDA、batch=1;低于 32k 反而更慢,默认关闭;256k 时 UltraLong-8B 达 1.86× 但质量检查不完整。
作者强调预注册门槛、如实报告失败:首个版本掉 7.4 RULER 分,初版 CUDA 只跑到 1.05–1.18×,直到修了两个 ggml 内核(其一已作为 llama.cpp #31855 提交上游)。代码在 topppg/llama.cpp 的 sparse-decode 分支,构建后设 LLAMASPARSEDECODE=27648 即可,要求 prompt 超过 32k 且模型与 cache 全在 GPU。
「Infra」频道最新
- Oxide 二代云计算机搭载美光内存存储,美光还投资了它 — Sethwinterroth · 2026-11-16
- AMD MI455 纸面规格胜过 Nvidia Rubin,Perf/Watt 之争再起 — zephyr_z9 · 2026-11-16
- llama.cpp 用 HF Buckets 与 HF Jobs 重构 CI,应对日均 35 个 PR 的压力 — ggerganov · 2026-11-16
- 印度 Sarvam 推出 Token Factory:在本土托管全套开源模型推理 — HarveenChadha · 2026-11-16
- ZGX Fury 实测:Qwen3.8-Flash-Next 跑出 351 tok/s,本地 Agent/RAG 全流程演示 — Sam Witteveen · 2026-11-16
- 谷歌宣布 Gemini 3.5 Flash 可在断网气隙环境运行 — shashib · 2026-11-16