把 Agent 当分布式系统调优:完整运行才是有效度量单位
rachittshah · x · 2026-09-09
作者提出应以「分布式系统」视角看待 AI Agent:模型只是请求路径中的一环,前后有队列、同步屏障、重试、缓存和外部依赖。
- 用户等待的是整条链路:准入、鉴权、状态加载、规划、推理、检索、数据库查询、代码执行、评估、持久化与交付,体验的是「组合后的延迟」
- 作者在实际项目中发现,这条路径上积攒的延迟超过任何单项推理设置
- 厂商面板给的 TTFT、tokens/s、输入输出大小并非用户感知,「完整运行耗时」才是有用的度量单位
- 实践方法:画出依赖图、在各边界打点、为每步设 deadline、控制扇出并发、保留足够执行状态以便解释一次请求为何以某种方式结束
- 换更快模型只有在推理位于关键路径时才有收益
「编程与Agent」频道最新
- 设计师把客户简报 discovery 交给 AI agent,每单省回 2 小时 — Tegadesigns · 2026-09-09
- PolyAI 发布 Wren:一个日夜自动改进其他对话 Agent 的编码 Agent — matthen2 · 2026-09-09
- Nex-N2.5 免费登陆 OpenRouter：262K 上下文的视觉反馈环智能体编码模型 — airesearch12 · 2026-09-09
- AI 修 bug 潮涌：simd 一年收 219 个 PR，维护者忙不过来 — lemire · 2026-09-09
- Mastra 发布开源 Agent「Factory」,已代写 30% 的 PR — tristanbob · 2026-09-09
- Ctrlb 开源预处理工具:喂给 LLM 前先剥离噪音 — ruhani_grover · 2026-09-09