RAG 延迟从90秒降到4秒
ezzeddinabdallah · reddit · 2026-07-18
作者分享了一个 RAG 管线优化案例：原本每次查询要 90 秒，用户经常还没等到答案就离开了。
他发现问题不在模型，而在检索层本身：
- embedding 过重
- 没有缓存
- 随着文档集增大，重复调用不断叠加
把这层重构后：
- 响应时间从 90 秒降到约 4 秒
- 成本大约下降 95%
- 另用 Weaviate 重建检索，主要解决的是“检索内容不准”的准确性问题
作者的结论是：很多 AI 性能问题，真正的瓶颈往往不是模型，而是没人注意的基础设施层。
「Infra」频道最新
- 云容量危机已成 AI 架构问题，作者撰文剖析挑战 — DavidLinthicum · 2026-10-26
- SpaceX 40B 美元 GPU 融资曝光，算力已达 1.7GW — XFreeze · 2026-10-26
- Meta 拟融资最高 950 亿美元，全力押注 AI 扩张 — Polymarket · 2026-10-26
- NBIS CEO:上周起债市对 Neocloud 关门,改靠客户预付款续命 — zephyr_z9 · 2026-10-26
- CoreWeave 五年期 CDS 飙至约 1100bps，市场担忧 AI 泡沫以信贷危机开场 — kimmonismus · 2026-10-26
- AI 需求重塑云计算：算力稀缺、长期合约取代按需模式 — DavidLinthicum · 2026-10-26