Ollama 踩坑实录:系统提示一个时间戳就能毁掉缓存
zainhas · x · 2026-11-17
Together 的 zainhas 与 Ollama 的 parthsareen 联合撰文,总结在 Claude Code、Codex、Pi 等编程 agent 中保持响应速度的 prefix caching 实践。核心:agent 每轮重发整个对话历史,prefix caching 能让长会话保持快速,但前提是 harness(客户端)与推理引擎两边都做对。
他们踩过的坑:
- 系统提示里一个时间戳就足以击穿缓存,导致每轮全量重算;
- 更改 reasoning effort 参数会清空整个缓存;
- 告诉 agent「你的输出被截断了」,它会主动去读漏掉的部分——一个有用的行为引导技巧。
这是一篇 harness 与推理引擎协同做缓存优化的工程复盘,对自建 agent 编排的开发者很有参考价值。
所属事件:Together 与 Ollama 联合详解 prefix caching 加速编程 agent(2 条相关)→
「编程与Agent」频道最新
- 开源决策模型 Karpo Decision 31B:一次前向传播输出全部选项概率 — _jaydeepkarale · 2026-11-17
- Riley Brown:试遍各种工具后,Claude Code Projects 仍是当前最佳 — angrypenguinPNG · 2026-11-17
- 开发者做 MCP 服务把刷到的视频帖转成可检索笔记供 Claude 调用 — PaRtHuS · 2026-11-17
- Stardock CEO 展示多 Agent 跨 PC/Mac 协作开发游戏的工程教训 — draginol · 2026-11-17
- Scott Hanselman 开源 sandbox-mcp:给 AI Agent 一台用完即弃的真 Windows 机 — unixterminal · 2026-11-17
- 开源 ProceduralTerrains:浏览器里 GPU 生成无限地形与星球 — anselm · 2026-11-17