Agent 真正贵在系统层
krishnan · x · 2026-07-13
这篇长文的核心观点是：agentic AI 之所以难用，不是模型不够强，而是围绕聊天场景搭建的系统架构不适合 agent。
作者引用 Google Cloud 的 2026 State of AI Infrastructure 报告，提到几组关键数据：
- 调查了 1400 多位高级 IT 负责人。
- 只有 17% 对现有技术栈能支持关键业务级 agent 有完全信心。
- 62% 的受访者认为数据外流、存储膨胀和闲置专用硬件会带来很高的推理成本。
- 81% 认为运维复杂度是 agent 扩展中的隐藏成本。
文章进一步指出，agent 的真实成本不只是 token，而是 token 加上上下文搬运、检索、编排、重试和审计。模型降价，并不自动等于工作流降价；如果一个任务会触发大量后续动作，完成一次任务的总成本甚至可能上升。
作者给出的架构建议包括：
- 按任务路由到合适的模型和芯片。
- 尽量让上下文靠近工作流。
- 记录 agent traces，而不只是应用日志。
- 把重试和工具失败当作成本驱动因素来衡量。
- 把审批和权限视为运行时的一部分，而不是静态政策文档。
结论是：未来的赢家不是“agent 最多”的公司，而是能以可预测的成本、延迟、可靠性和 blast radius 运行 agent 的公司。
所属事件:分析称多模型编排层才是AI Agent护城河(2 条相关)→
「Infra」频道最新
- 全同态加密 GPT-2 速通赛开跑:现纪录 3.031 秒/token — tensorqt · 2026-10-27
- 开源编译器 Latch 从 PyTorch 生成训练 megakernel，H100 上提速 2.75 倍 — sguada · 2026-10-27
- NVIDIA 称 HGX Rubin NVL8 每兆瓦 token 吞吐为 B200 的 10 倍 — thursdai_pod · 2026-10-27
- Together 推出并行 LoRA 实验：多个实验共享同一批 GPU，免重复配置 — togethercompute · 2026-10-27
- 要么人力商品化，要么 GPU 商品化：算力经济二选一之辩 — _AustinCalvert_ · 2026-10-27
- DeepSpeed 发布 AutoEP/AutoTP 等并行化进展并办线上答疑 — PyTorch · 2026-10-27