llama.cpp 新 PR 修复统一 KV cache，本地多 agent 推理显著提速
jacek2023 · reddit · 2026-11-03
llama.cpp 合入了一个针对 CUDA flashattnextrows 的修复（PR #29510，by am17an），修正了多序列（multi-seq）场景下统一 KV cache 的问题。
对像作者一样在本地并行跑多个 agent 的用户来说，这是个实用的性能提升：统一 KV cache 在多会话并发推理时能更省显存、更快，此前 unified KV 路径的 bug 会让多序列推理受损或出错。
「Infra」频道最新
- Reddit 热传讽刺视频:你的内存凭什么该搬进数据中心 — wwjps · 2026-11-03
- Clover 登陆 llama.cpp:35B MoE 混合块扩散生成,每 token 仅激活 3B — jacek2023 · 2026-11-03
- 本地跑 ComfyUI 时 Chrome 白吃 15% 内存，用户求无浏览器方案 — SwingNinja · 2026-11-03
- 让 Agent 跑更快：一年实践总结的推理速度优化心得 — rseroter · 2026-11-03
- 谷歌财报：营收利润双涨股价却暴跌 10%，市值蒸发 5000 亿美元 — FuSheng_0306 · 2026-11-03
- CI 从 40 分钟提速到 2 分钟，Boardy 分享 20 倍加速实操清单 — garrytan · 2026-11-03