本地 RAG 应否常驻空闲算力？架构权衡讨论
Cautious_Bit_8521 · reddit · 2026-09-02
作者质疑为了维持检索服务而让本地 RAG 进程常驻并预留算力的做法。检索服务需要延迟可预测，而重嵌入、去重和重建索引等语料库工作是突发性的，可能需要不同的算力配置。目前的观点是将向量数据库（如 Milvus）留在服务路径，仅在语料库任务运行时挂载独立算力，随后发布匹配的数据快照和版本。
「Infra」频道最新
- Cloudflare Agents 支持 OpenTelemetry 追踪，可直连 Braintrust 评估 — ritakozlov · 2026-09-02
- 进步派拉比谈数据中心禁令：为环保劳工争取筹码的策略 — joshua_saxe · 2026-09-02
- 英特尔高官：AI 时代安全需从硅片底层设计 — BenBajarin · 2026-09-02
- PyTorch 2.14 发布：2995 次提交，487 位贡献者参与 — PyTorch · 2026-09-02
- Exllamav3 实测：8x3090 跑出 700tk/s — Leflakk · 2026-09-02
- GLM-5.3 模型推出 GGUF 量化版，适配端侧部署 — unsloth · 2026-09-02