DEPT 方法统一查询扩展与检索，文档嵌入复用提升效果

_reachsumit · x · 2026-08-19

新研究提出 DEPT（Document Embedding Preservation Tuning），训练单个 LLM 同时执行查询扩展和文本编码。该方法通过锚定文档嵌入到初始缓存，解决了统一训练中的“移动目标”问题，使索引可复用并支持在线负例挖掘。在 BEIR 基准测试中，DEPT 优于无训练、独立训练和分阶段统一的基线模型。

原文链接 →

「研究」频道最新

• Maglev 架构：用滑动循环记忆解决 Transformer 遗忘难题 — anselm · 2026-08-19
• Andrej Karpathy 发布 llm.c：纯 C/CUDA 实现 LLM 训练 — goyalshaliniuk · 2026-08-19
• MIT 研究：生成式图像常无法追溯至训练数据 — frankster · 2026-08-19
• Organization Science：生成式 AI 队友如何改变团队协作 — 233C · 2026-08-19
• trainproof：让坏掉的训练立刻报错的确定性日志检查器 — CupGlass540 · 2026-08-19
• 腾讯发布 CoinVE-200K 数据集与 22B 视频编辑模型 — tencent · 2026-08-19

更多「研究」频道 AI 资讯 →