Agent 感知基础设施兴起：通过缓存与调度优化推理效率

_ScottCondron · x · 2026-08-23

当前的 AI 编排框架正从仅榨取模型性能，转向优化推理基础设施以提升效率。趋势是构建“Agent 感知”的基础设施，使其理解 Agent 和 Session 上下文，从而优化 KV 缓存复用、工具调用的保留与预取以及优先级调度。Dynamo 的 nvext.agenthints 和 llm-d 的程序感知服务正在此方向探索，包括缓存感知路由、推测预填充和生命周期感知的缓存管理。引用观点补充称，模型能力是根本，Agent 产品的核心在于通过上下文学习榨取潜力，并将模型无法处理的边界失败转化为后训练数据，最终将能力左移至模型，让框架致力于自我淘汰。