Agent 真正提速靠系统优化
Meher_Nolan · reddit · 2026-07-19
作者回顾自己在比较模型、调提示词和调采样参数上花了很多时间，但真正显著的速度提升并不是来自更快的模型。 他总结的几个关键优化是： - 并行执行独立的工具调用，而不是串行等待 - 缓存不常变化的数据 - 减少发送给模型的上下文 - 先返回部分有用结果，长任务后台继续跑 - 在某些地方直接用普通代码替代 LLM 调用 这些改动不一定改善 benchmark，但会明显提升用户体感速度。
Meher_Nolan · reddit · 2026-07-19
作者回顾自己在比较模型、调提示词和调采样参数上花了很多时间，但真正显著的速度提升并不是来自更快的模型。 他总结的几个关键优化是： - 并行执行独立的工具调用，而不是串行等待 - 缓存不常变化的数据 - 减少发送给模型的上下文 - 先返回部分有用结果，长任务后台继续跑 - 在某些地方直接用普通代码替代 LLM 调用 这些改动不一定改善 benchmark，但会明显提升用户体感速度。