Together 与 Ollama 详解:prefix caching 如何让长 Agent 会话不越跑越慢
togethercompute · x · 2026-11-17
Together AI 的 Zain Hasan 与 Ollama 的 Parth Sareen 合写长文,拆解 coding agent 的推理流量特性与 prefix caching 的两侧配合要点。
问题特征
- Agent 每走一步,harness 都要重发全部上下文:系统提示、所有工具定义、用户请求、读过的每个文件、跑过的每条命令
- 返回通常只是几十 token 的工具调用——典型的大输入(ISL)、小输出(OSL)模式
- 若无 prefix caching,每轮都从头算,长会话会越来越慢、越来越贵
两侧各自的职责
- harness 侧:保持 prompt 前缀稳定不动,让缓存可复用
- 推理引擎侧:把每轮请求路由回已持有该前缀缓存的 GPU
文章同时介绍了 Together 的 Polymorphic Inference、Post-Training、Link 等新产品线,主题是如何让开源模型胜任长程 agentic 工作负载。
「编程与Agent」频道最新
- 用 MiniMax H3 在 ComfyUI 复刻《教父》办公室名场面,3 镜头 37 秒 — hucun16 · 2026-11-17
- Seroter 阅读清单:humanizer 技能实测、subagents 之害与效率度量 — rseroter · 2026-11-17
- 2026 年软件工程师的新工作:刷推特给 Agent 投喂有用信息 — itsOmSarraf_ · 2026-11-17
- OpenAI 将在纽约办硬件黑客松:用 Codex 一天做出硬件原型 — OpenAIDevs · 2026-11-17
- Jeremy Howard 在 SolveIt 里精读 RLM 论文并写出比原版更简洁的实现 — jeremyphoward · 2026-11-17
- SolveIt 细节:持久服务器+Python 函数即 AI 工具,可直接编辑 AI 回复 — jeremyphoward · 2026-11-17