DEX-Comp 压缩 RAG 上下文 16 倍,性能反超未压缩基线
_reachsumit · x · 2026-09-07
arXiv 论文提出 DEX-Comp，一种针对 RAG 软上下文压缩的两阶段训练方案，突破以往蒸馏式压缩性能上限受制于未压缩模型的局限：
- Pure Distillation：仅在未压缩 RAG 答对的样本上做模仿学习热启动压缩模型；
- Hard Exploration：只在未压缩 RAG 失败的查询上运行强化学习，迫使模型探索更适合压缩表示的计算模式。
在五个开放域 QA 基准、检索深度 top-5 到 top-30 上，DEX-Comp 将检索上下文压缩 16 倍，推理加速 4–24 倍，性能与未压缩 RAG 相当甚至更好。消融实验验证了各阶段贡献及跨数据集、跨 backbone 的泛化性。
「Infra」频道最新
- 500 万美元种子轮不够 DeepSeek 训一遍:没 GPU 的 AI 创业只剩三条路 — FinanceYF5 · 2026-10-26
- HBM 需求转向:低端推理砍单,Rubin 将全系 12-high HBM — BenBajarin · 2026-10-26
- CircuitHub 发布工厂级机器人 The Grid，美国产 PCB 提速两倍对标深圳 — garrytan · 2026-10-26
- Ubicloud 发文修复 vLLM 工具调用准确率问题 — petrusenko_max · 2026-10-26
- Meta 批准无投票权 C 类股，2026 年资本开支指引达 1350–1450 亿美元 — thione · 2026-10-26
- Unsloth 发布 MiniMax-M3.1-Flash 量化：2-bit 保留 91.5% 精度，150GB 内存可跑 — danielhanchen · 2026-10-26