AdaMem 论文:按相关性分配记忆 token,RAG 软压缩再提 3.2 点
_reachsumit · x · 2026-09-22
论文(arXiv:2609.22100)提出 AdaMem,解决 RAG 软压缩中的一个低效问题:现有方法给每条保留的检索段落分配相同数量的连续记忆嵌入,无论其与查询的相关度如何。
方法:相关性引导的软压缩框架——一个共享的查询条件压缩器单次前向同时产出段落记忆与相关性分数;确定性分配规则把更多记忆 token 给高分段落,低分段落甚至可以完全省略。
结果:在六个开放域 QA 基准上,AdaMem 在相同记忆预算下一致超越均匀分配基线 OSCAR 及其他软压缩方法:标准 16× 压缩下子串匹配最多提升 3.2 点(相对提升 5.5%),平均相对提升 3.4%;在激进的 64× 压缩下优势更大。
「研究」频道最新
- 开发者逆向复现 DLSS5 神经渲染,Vulkan 实现 75 层输出逐字节一致 — bdsqlsz · 2026-09-22
- 论文《The Pain Axis》探测模型内部「痛苦」模式并人为激活验证 — voices4AI · 2026-09-22
- Decision Index 0.1 发布:向每个模型提问 13 万次横评 30+ 决策模型 — multimodalart · 2026-09-22
- Deep Persona 三层心理架构,让 LLM 角色扮演更贴近真人 — UoHaifa · 2026-09-22
- 大连理工 CARE 框架让 VLA 机器人从失败中学会纠错,成功率提升 15.9 点 — dalian-university-of-technology · 2026-09-22
- Mira-Scene 用像素对齐坐标图解决生成式 3D 场景布局,3D-IoU 提升 39.8% — Yang-Tian Sun · 2026-09-22