让 Agent 跑更快：一年实践总结的推理速度优化心得
rseroter · x · 2026-11-03
Martin Alderson 把多年 Web 性能优化经验迁移到 agent 工作流，总结了过去 12 个月的关键心得。
推理速度是核心，类似后端 API 优化分两个指标：
- TTFT（首 token 时间）：类似 Web 的 TTFB，包含 prefill，随输入 token 数量变化，越低越好；prompt caching 对此至关重要，且缓存 token 更快更便宜——但实际经验中大多数 agent harness 已处理得很好。
- tok/s（每秒 token 数）：响应开始后的吐出速度，类似带宽，越高越好。
两者的相对重要性取决于工作流的响应模式：如果 agent 来回发送大量短回复，TTFT 的影响相对更大。
「编程与Agent」频道最新
- DeepSeek 推出自定义插件快速创建功能，加码 Agent 布局 — pstAsiatech · 2026-11-03
- YC 项目 WonderSearch 发布:一个硬盘让 Claude Code、Codex、Cursor 共享记忆 — Scobleizer · 2026-11-03
- Xbow 曝光 $4 万拿下 Chrome 全链漏洞的 API 成本明细 — moyix · 2026-11-03
- Phone Harness MCP 发布：云端 Agent 可操控真实 iPhone/Android — Scobleizer · 2026-11-03
- LangChain 提出2026年末上下文工程新挑战：浏览器、长期目标、异步 — hwchase17 · 2026-11-03
- MotherDuck 发布 Flight Explainer：Python 管道运行实时可视化 — josh_wills · 2026-11-03