CANOPY:多模态RAG证据压缩,token省近三成精度不掉
POSTECH · hf · 2026-10-06
CANOPY:自适应粒度的检索后证据压缩
多模态 RAG 会检索文本、表格、图片和视频,但检索粒度并不决定每个条目内保留多少上下文:粗粒度混入无关内容,统一细粒度选择又可能删掉解读证据所需的上下文。现有压缩器多为模态专属机制,缺少跨异构条目的通用流程。
POSTECH 提出 CANOPY(Canonical Projection over Hierarchy):
- 将检索条目表示为层级结构,用在黄金证据上微调的节点编码器给各区域按查询打分;
- 通过父节点相对精炼,无需 LLM 调用即可在不同粒度上选出多个区域;
- 因压缩无法找回从未检索到的证据,内置 critic 判断证据不足时发起定向补充检索,新条目先压缩再加入。
结果:在 33M 条异构语料、5 项 QA 基准上平均答案准确率超过各检索基线;消融显示多跳 QA 的主要增益来自补充检索。在未路由的 Qwen3-VL-8B-Instruct 设定下,压缩使读入证据 token 减少 14.2%–27.7%,答案精度相当。
「研究」频道最新
- 弱论文反而被引用更多:后续研究都靠引用它来踩 — LucaAmb · 2026-10-06
- tszzl:对齐要成为工程学科,起码得先攻克机制可解释性 — tszzl · 2026-10-06
- 因果决策研究亮相可信 AI 研讨会,录像已公开 — murat_kocaoglu_ · 2026-10-06
- Claude 突破 3SUM 复杂度下界,给出 O(n^1.9992) 算法附 Lean 证明 — thegautamkamath · 2026-10-06
- ReSteer 开源:修复 VLA 执行中途无视新指令的可控性缺陷 — siddkaramcheti · 2026-10-06
- 研究者携「推理模型潜空间策略状态」解读工作参加 COLM — hunarbatra · 2026-10-06