DEX-Comp 压缩 RAG 上下文 16 倍,性能反超未压缩基线
_reachsumit · x · 2026-09-07
arXiv 论文提出 DEX-Comp，一种针对 RAG 软上下文压缩的两阶段训练方案，突破以往蒸馏式压缩性能上限受制于未压缩模型的局限：
- Pure Distillation：仅在未压缩 RAG 答对的样本上做模仿学习热启动压缩模型；
- Hard Exploration：只在未压缩 RAG 失败的查询上运行强化学习，迫使模型探索更适合压缩表示的计算模式。
在五个开放域 QA 基准、检索深度 top-5 到 top-30 上，DEX-Comp 将检索上下文压缩 16 倍，推理加速 4–24 倍，性能与未压缩 RAG 相当甚至更好。消融实验验证了各阶段贡献及跨数据集、跨 backbone 的泛化性。
「Infra」频道最新
- 网友自建本地 Agent「Sai」:让 AI 有真实身体、温度感知与后果代价 — Quebber · 2026-09-07
- 一场演讲塞四个互连标准，从业者自嘲「光互连就是个大烂摊子」 — jwt0625 · 2026-09-07
- PyTorch 基金会现身上海：月下载 8000 万次，探讨多元硬件开源栈 — PyTorch · 2026-09-07
- Embedding Surgery:查询时局部修正文档向量,DG@10 提升可达 60% — _reachsumit · 2026-09-07
- VDN-H3 移植到 Vpipe:M5 Pro 24GB 上 H3 生成最快提速 2.6 倍 — TgoAI · 2026-09-07
- SC Asia 2027 征稿启动:聚焦超算、AI 基础设施与量子,2027 年 3 月新加坡举办 — thoefler · 2026-09-07