微软提出 xPRT：跨段落无监督预训练，稠密检索器平均提升 3.2%
_reachsumit · x · 2026-10-30
微软研究团队发布 xPRT（Cross-Passage Retrieval Pretraining），一种面向稠密检索器的无监督预训练方法。
- 核心思路：不依赖标注的 query-document 对，而是利用文档内部段落之间的关联——让某段落的 embedding 去预测编码器从未读过的相关段落，从整篇文档的结构中提取更丰富的学习信号。
- 实验设置：在 MTEB English v2 上与五个 SOTA 目标对比，从同一公开无监督 checkpoint 继续预训练，语料、训练计划与流程保持一致。
- 结果：xPRT 在跨任务类型上平均超过最强基线 3.2%；许多基线方法在持续预训练设定下出现明显性能回退，而 xPRT 相对初始 checkpoint 增益最大且互补。
- 意义：为标注数据稀缺领域的 RAG/搜索系统提供低成本检索器预训练路径。
「研究」频道最新
- 新论文提出统一框架设计免学习率优化算法，覆盖 AdaGrad 与 parameter-free — bremen79 · 2026-10-30
- 清华团队 LoopWAM 借部署自采数据把机器人任务成功率从 23.7% 提到 43.3% — jiqizhixin · 2026-10-30
- SenseNova 发布 Loop-9B：24 层循环复用实现 56 层执行深度，支持 256K 上下文 — jacek2023 · 2026-10-30
- 把费城路网做成谱图实验室:关一条街看拉普拉斯谱变化 — prof_g · 2026-10-30
- 庞加莱研究所 AI 与数学物理未来研讨，Serfaty 谈驾驭 AI 巨龙 — IgorCarron · 2026-10-30
- AI 让形式化验证翻身:seL4 曾需 20 人年,如今初创公司号称可用 — lemire · 2026-10-30