Agent 进化：长周期任务将改变推理优化目标

zhyncs42 · x · 2026-08-26

未来 6 个月，Agent 工作负载将向长周期任务（运行数小时、数天甚至数周）演进，这将根本性地改变推理工作负载的优化目标。优化指标将从当前的“低延迟和低成本”转向针对长运行 Agent 的新型推理优化。与此同时，单 GPU 优化（如 kernel 优化、投机采样、量化）正变得日益标准化和商品化，真正的差异化正在转向系统级优化，如 PD disaggregation 和 KV 存储。