RAG 聊天机器人间歇性高延迟排查
arjunssat · reddit · 2026-07-10
作者在排查一个生产环境 RAG chatbot 的**间歇性 4–5 分钟延迟**问题。 系统栈包括：FastAPI（Python）、Amazon Bedrock、PostgreSQL + pgvector，部署在同一 AWS region；FastAPI 容器跑在 Kubernetes，PostgreSQL 部署在 EC2。作者已经做过数据库索引、pgvector 索引、连接池、线程池、K8s HPA 等优化，但仍然偶发极慢请求。 现象是： - 本地执行同样查询通常 30 秒内完成。 - 在托管环境中，同一请求偶尔会拖到 4–5 分钟。 - 间歇性出现，与负载无关；测试时甚至只有作者一个用户。 作者打算先按阶段加埋点统计耗时，重点区分 DB 检索、向量搜索、Bedrock 调用和响应生成分别卡在哪一步，并向社区征求更多排查建议。