llama.cpp 分块 KV cache 流式传输 PR:长上下文显存封顶
giveen · reddit · 2026-09-06
开发者 giveen 向 llama-cpp-turboquant 提交 Pull Request #357,实现 Block KV cache 流式传输,通过共享 CUDA phase arena 为长上下文推理设定显存上限。作者坦言核心工作来自 Raymond Huang 的 llama.cpp-adaptive-kv-streaming(Raymond 曾表示做得更好),自己将该方法移植到 turboX,并从 Raymond 仅支持的 Qwen 系列扩展到多个其他模型,同时做了详尽 benchmark 验证收益。对本地部署长上下文推理的用户,这是降低显存占用的实用优化方向。
「Infra」频道最新
- llama.cpp 团队发布 Llama：Mac 菜单栏一键本地跑 AI 模型 — Hugging Face · 2026-10-23
- 中国日均 Token 消耗达 500 万亿,均价一年从 6.8 元涨至 13.46 元 — teortaxesTex · 2026-10-23
- 优化 PCIe 小消息 all-reduce 内核，DeepSeek-V4.1 推理解码提速 12% — AlpinDale · 2026-10-23
- 海上油气平台拟改建为 AI 数据中心，烧闲置天然气供算力 — clemnt · 2026-10-23
- 同为原生 UI:Swift 版 80MB 仅限 Mac,Zig 版 10MB 三端通吃 — jedisct1 · 2026-10-23
- 开源本地版 NotebookLM:SurfSense 全文档问答与文档编辑 Agent — FurtiveMirth · 2026-10-23