A Matryoshka Hierarchical RAG for Efficient Multi-Hop Question Answering
Gianluca Bonifazi, Christopher Buratti, Michele Marchetti, Federica Parlapiano, Giulia Quaglieri, Davide Traini, Domenico Ursino, Luca Virgili
cs.CL, cs.IR
2026-10-01
Matryoshka 前缀对齐聚类 DAG 层级，三基准 EM/F1 全第一，响应比 FAISS 快 47%,索引省三个数量级。
多跳问答要把分散在多篇文档里的证据串成链，单轮稠密检索覆盖不了这种跨文档路径：一个查询和一篇文档的相似度，说不清下一跳在哪。现有解法分两派。图方法(GraphRAG、LightRAG、HippoRAG2)离线建知识图谱，查询时在图上游走；层次方法(RAPTOR)把语料组织成树，中间节点靠 LLM 写摘要。质量都不差，代价都高：建图要做实体链接和关系抽取，建树要递归调 LLM,查询时还得靠 LLM 规划下一跳。
代价有数：HotpotQA 语料(9,811 篇文档)上，GraphRAG 建索引花 661,392 秒，LightRAG 花 728,471 秒，合七天半到八天半；HippoRAG2 答一题平均 76.84 秒。
MatRAG 把 MRL(Matryoshka Representation Learning,套娃表征学习，指向量的任意长度前缀截出来都是可用表征)的嵌套结构，对齐到聚类层次的粗细上。
离线建索引：
对齐的理由：粗层装的是语义混杂的大簇，在簇内排候选需要的判别信息本来就粗，短前缀装得下；全维度只留给最终给单篇文档排序的叶子层。
在线迭代检索：
设置：三个基准、7 个基线、统一生成模型 gemma3:27b,每个基准抽 5 组各 1,000 题取均值。端到端问答(节选最强基线)：
| 方法 | HotpotQA EM/F1 | 2Wiki EM/F1 | MuSiQue EM/F1 |
| MatRAG | 60.50 / 73.66 | 52.70 / 63.42 | 27.40 / 37.89 |
| NaiveRAG(FAISS 平铺) | 53.05 / 64.50 | 44.10 / 48.15 | 20.65 / 29.55 |
| HippoRAG2 | 52.40 / 64.10 | 49.85 / 55.20 | 26.20 / 33.55 |
| LightRAG | 52.15 / 66.55 | 45.35 / 50.80 | 21.85 / 31.80 |
六个指标全部第一。检索侧 R@5:HotpotQA 89.30(NaiveRAG 84.10)、2Wiki 79.27(HippoRAG2 77.80)、MuSiQue 57.08(NaiveRAG 50.35)。唯一丢的检索指标是 2Wiki 的 R@2,63.08 对 NaiveRAG 的 63.40。MuSiQue 专为反捷径检索设计，MatRAG 的 R@2 在这里领先 NaiveRAG 5.4 个百分点，是层次遍历有效最直接的证据。
| 指标(HotpotQA) | MatRAG | 对照 |
| 响应时间 | 1.85s | NaiveRAG 3.52s;HippoRAG2 76.84s |
| 索引时间 | 316s | GraphRAG 661,392s;NaiveRAG 98s |
| 送进 LLM 的 token | 788 | GraphRAG 3,812;LightRAG 5,841 |
响应时间在三个基准上比 NaiveRAG 快 47.4%、35.8%、35.1%,比 HippoRAG2 快 96% 以上；索引比 NaiveRAG 慢(316 秒对 98 秒)，换来的是检索质量。消融补了两个验证：截断前缀聚出的簇在 DB 指数和 Silhouette 分数上不降反微升，省算力没牺牲簇质量；自适应锚定优于两个固定权重变体，HotpotQA F1 73.66,对 72.25(只用原查询)和 71.24(只用扩展查询)。
「便宜的平铺检索」和「昂贵的结构化检索」之间缺一个中间档，MatRAG 补上了：结构化的质量拿到手，KG 构建和 LLM 规划的钱省下。更可迁移的是 MRL 的用法：此前都是部署时选一个折中维度、整条流水线统一用，按索引层级分配维度是新用法，不需要额外训练，nomic 这类现成模型直接支持。
适合证据分散的多跳问答、延迟敏感的在线检索、建不起图谱的领域；单跳事实查询用平铺稠密检索已经够。检索质量相对最强基线的提升多在 15 个百分点，属于渐进改进；查询延迟压到 FAISS 平铺的一半左右、索引成本比图方法低约三个数量级，这部分是实打实的工程收益。
作者自述三条：GLiNER 在领域术语特殊的语料上抽实体不可靠，错误会传进预算控制和重排；语义分布太均匀的语料聚不出有判别力的簇；贪心自顶向下遍历没有回溯，粗层选错分支且正确父簇不在 p=2 冗余范围内时，相关文档就进不了候选集。
读下来另有几点存疑。语料只有 6,119 到 11,656 篇，离生产级 RAG 差四五个数量级，FAISS 平铺在万篇规模显不出规模优势，「快过 FAISS」放到百万篇语料是否成立没有验证，HDBSCAN 在那个量级的成本也未知。基线超参全部沿用各自原论文的设置，没在这些语料上重调，图方法的成绩可能被低估。「实体计数替代 LLM 规划」只和 ToG、KGP 这类图上 agent 比过，没有对照 IRCoT、FLARE 这类稠密检索上的迭代规划方法。