CANOPY:多模态RAG证据压缩,token省近三成精度不掉

POSTECH · hf · 2026-10-06

CANOPY:自适应粒度的检索后证据压缩

多模态 RAG 会检索文本、表格、图片和视频,但检索粒度并不决定每个条目内保留多少上下文:粗粒度混入无关内容,统一细粒度选择又可能删掉解读证据所需的上下文。现有压缩器多为模态专属机制,缺少跨异构条目的通用流程。

POSTECH 提出 CANOPY(Canonical Projection over Hierarchy):

结果:在 33M 条异构语料、5 项 QA 基准上平均答案准确率超过各检索基线;消融显示多跳 QA 的主要增益来自补充检索。在未路由的 Qwen3-VL-8B-Instruct 设定下,压缩使读入证据 token 减少 14.2%–27.7%,答案精度相当。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →