CachyLLama 分支大幅减少长会话重复 prompt 处理
UsualResult · reddit · 2026-07-25
CachyLLama：给长会话本地 agent 做持久 KV 缓存
CachyLLama 是 llama.cpp 的一个分支，主要解决一个很实际的瓶颈：在长 agent 会话里，反复重新处理同一段 prompt 上下文。
它做了什么
- 增加了 SSD-backed 的持久 KV cache。
- 增加了 system prompt cache。
- 如果请求开头与之前处理过的上下文一致，就能恢复状态，只计算变化的尾部。
- checkpoint 还能在服务重启后继续保留。
作者给出的影响
在项目自己的 7840U/780M 基准里，warm run 比 cold run 快很多：
- 1,243 token：9.3s cold vs 0.41s warm
- 5,409 token：43.3s cold vs 0.57s warm
- 15,700 token：143.1s cold vs 0.99s warm
重要说明
它不会让生成本身变快，只是避免重复做 prompt 评估；这正是长 agent 工作流在慢硬件上最痛的地方。
「编程与Agent」频道最新
- 零基础学员经 AI 辅导也能跑通完整 CI/CD 流水线 — curious_vii · 2026-10-26
- Ruff 作者感叹:前沿模型能在任何软件里找到无穷多 bug — charliermarsh · 2026-10-26
- 开发者实测同一 skill 跨 Opus 5.5 与 Sol 6.1:指令遵循表现参差 — lucasmeijer · 2026-10-26
- 用小开源模型逆向工程游戏二进制:主 agent 中途重写子 agent 的 harness — yb2698 · 2026-10-26
- ContractSim：首个评估 LLM 自然语言合同谈判的框架 — xuanalogue · 2026-10-26
- OpenAI 计算机使用 agent 团队：速度已逼近超越人类专家 — a16z · 2026-10-26