Agent 后端如何处理长循环
sandyyevans · reddit · 2026-07-14
作者在搭建 agent 后端时遇到一个典型工程问题： 1. 前端负责会话交互，后端负责调用 LLM、执行 tool calls，并在多轮 ReAct 循环中推进任务。 2. 用户会话历史按 sessionId 持久化在 Postgres，多用户共享同一个 LLM client。 3. 后端通过 SSE 向前端实时推送 reasoning、tool call、执行结果等状态。 他现在卡在一个瓶颈：单个用户请求可能触发多个 ReAct 循环，耗时较长，容易让 Web 服务并发堆积。他想知道业界通常怎么处理这种情况；如果改成异步队列，又担心无法继续用 SSE 做实时状态回传。