Recall 用情景记忆加速 RAG，命中仅 260 毫秒
sharpeye_wnl · x · 2026-07-29
一个面向 RAG 系统的记忆层方案 Recall：先检查 episodic memory，再决定要不要进文档检索。若历史答案足够新且置信度高，就直接跳过 retrieval，实测把响应时间从 冷启动约 49 秒、热路径约 6 秒 压到 约 260 毫秒。
核心机制
- 结合 cache + ChromaDB 识别语义相近问题
- 命中记忆时直接返回缓存答案
- 未命中时走正常的 检索 + 生成 流程
- 还提供一个 reconciled 路径：两条链路都跑，再由 LLM 选择更优答案
图中给出的延迟
- 记忆命中：260ms
- 检索 + 生成：49s（冷）/ 6s（热）
- Reconciled：5–8s
「编程与Agent」频道最新
- Reddit 讨论：agent 首次联系真人该怎么说 — Seeqit-Official · 2026-07-29
- Reddit 说：换推理服务后，AI agent 延迟明显下降 — Cookie_cutie_69 · 2026-07-29
- Reddit 讨论：长任务 agent 如何验证结果而不重跑 — Seeqit-Official · 2026-07-29
- OpenWork 自称 Claude Cowork 的开源替代品 — different-ai · 2026-07-29
- RepoSkein 通过 MCP 给编程代理提供确定性代码图 — JeremyCMorgan · 2026-07-29
- 同一段代码交给 Codex，结果被直接展示出来 — iamfakhrealam · 2026-07-29