RAG 延迟从90秒降到4秒
ezzeddinabdallah · reddit · 2026-07-18
作者分享了一个 RAG 管线优化案例：原本每次查询要 **90 秒**，用户经常还没等到答案就离开了。 他发现问题不在模型，而在检索层本身： - embedding 过重 - 没有缓存 - 随着文档集增大，重复调用不断叠加 把这层重构后： - 响应时间从 **90 秒降到约 4 秒** - 成本大约下降 **95%** - 另用 **Weaviate** 重建检索，主要解决的是“检索内容不准”的准确性问题 作者的结论是：很多 AI 性能问题，真正的瓶颈往往不是模型，而是没人注意的基础设施层。