在线检索与离线评估该分离吗
ethanchen20250322 · reddit · 2026-07-09
作者讨论 LLM 应用中的向量检索是否应该把在线检索和离线评估任务拆开。在线检索面向用户请求，p95/p99 延迟会直接影响产品体验，因此更适合使用稳定、可预测的专用计算资源。
ethanchen20250322 · reddit · 2026-07-09
作者讨论 LLM 应用中的向量检索是否应该把在线检索和离线评估任务拆开。在线检索面向用户请求，p95/p99 延迟会直接影响产品体验，因此更适合使用稳定、可预测的专用计算资源。