Anthropic:知识库小于50万词可弃RAG,缓存直灌省90%成本
CatAstro_Piyush · x · 2026-11-23
Anthropic 官方博客介绍了两种处理知识库的思路:
- 直接塞进 Prompt:若知识库在 20 万 token(约 500 页)以内,可不搭 RAG,将全文放入提示词,配合 Prompt Caching 缓存前缀,官方称延迟可改善 2 倍以上、成本最多降低 90%。
- Contextual Retrieval:针对更大知识库,用 Contextual Embeddings 与 Contextual BM25 两个子技术改进检索环节,可将检索失败率降低 49%,叠加 reranking 后降低 67%。
核心逻辑是利用长上下文窗口,把背景知识前置缓存,避免传统 RAG 编码时丢失上下文导致的检索失效。官方提供了 cookbook 供开发者直接部署。
「编程与Agent」频道最新
- Pinokio 8.4 发布 Agent Messenger:像聊天一样操控所有本地 AI 应用 — cocktailpeanut · 2026-11-23
- Windows 11 被扒出隐藏遥测模块,专门监控你用哪家 AI 写代码 — cyb3rops · 2026-11-23
- 网友用 Claude Code 冲击黎曼猜想证明,引发围观 — prasanna_says · 2026-11-23
- 微软研究团队推荐 Spec Kit,推广规格驱动开发实践 — luisdans · 2026-11-23
- AI agent 12 小时从零设计出完整 RISC-V CPU 核 — ChuckDBrooks · 2026-11-23
- Agent 基础设施崛起:E2B 营收 1.2 亿美元领跑新赛道 — clemnt · 2026-11-23