REVA 挖掘 LLM 历史注意力构建可复用证据视图,RAG 压缩开销降 5-15 倍
_reachsumit · x · 2026-09-11
RAG 长上下文会推高延迟、KV cache 显存与 token 成本,而现有检索后压缩器逐查询独立运行,在线开销可能抵消短 prompt 的收益。
论文 REVA 换了个数据挖掘视角:把历史「查询-文档-模型」交互聚合成可复用的证据视图——
- 先指出主流压缩器相对简单截断的收益不稳定,还会引入显著推理延迟;
- 再把生成器的历史注意力痕迹挖掘成按文档索引、与预算无关的分数库,将 token 级注意力映射到可读词单元并跨重复访问聚合;
- 按预算渲染保留文档顺序、兼容标准 RAG 接口的纯文本视图。
在 4 个基准与现代 LLM 上,生成质量较现有方法提升 1.0-5.8 分,压缩开销降低 5.3-15.6 倍,额外延迟不足 40ms。
「Infra」频道最新
- Neocloud 初创 General Compute 融资 1 亿美元,专押英伟达体系外推理芯片 — tonygwu · 2026-10-28
- 超快开源推理创企获 1 亿美元 A 轮融资,首批机架 2027 Q1 上线 — tonygwu · 2026-10-28
- 用 $TAO 两分钟上手开源模型：Bittensor 侧链 SN53 实测体验 — markjeffrey · 2026-10-28
- AI 代码潮致 CI 需求暴涨，Celesto 一周 CI 分钟数增长 9 倍并分享扩容细节 — aniketmaurya · 2026-10-28
- DeepMind 团队发布 Rust 虚拟机 Capsem，为 AI Agent 提供 hardened 隔离环境 — rakyll · 2026-10-28
- SemiAnalysis:OpenAI 正洽谈约 1GW TPU 租约并寻找场址 — dylan522p · 2026-10-28