零训练改检索:token 级匹配让记忆召回 Recall@10 提升 13.3 个点
_reachsumit · x · 2026-10-12
论文《Beyond the Final Embedding》提出不训练嵌入模型、直接利用冻结编码器中间 token 状态做检索的方法：
- 核心思路：多数嵌入检索只用单一向量比较查询与记忆，但相关性常取决于局部内容。该方法把查询的每个 token 与候选记忆中的 token 状态做稀疏匹配，汇总匹配分并融合整条记忆相似度来排序，完全免训练。
- 效果：在 8 个基准、多个模型家族上均提升检索；在 Qwen3-Embedding-4B 上叠加可训练的低秩查询适配器后，Recall@10 与 NDCG@10 平均分别提升 13.3 和 14.3 个百分点，且编码器与已存储的记忆表示保持不变。
- 下游收益：检索提升直接转化为长期记忆问答基准上的更高准确率。
「研究」频道最新
- NeurIPS 会前工作坊 CL4SM 征稿：让科学建模尊重物理定律 — cici118 · 2026-10-12
- Adobe 提出时序信用稳定法,短序列训练泛化长上下文 — burkov · 2026-10-12
- 将 500MB RoBERTa AI 文本检测器压缩到 97MB,纯浏览器端运行 — Alternative_Detail31 · 2026-10-12
- PwC 论文阅读体验升级：加载更快还支持章节跳转 — NielsRogge · 2026-10-12
- Work2Skill 从人类 GUI 演示提炼可复用 Agent 技能,评测全面领先 — nex-agi · 2026-10-12
- 500 小时视触觉数据集 TouchScale:机器人操作成功率 22.5%→57.5% — 2077AIDataFoundation · 2026-10-12