联合训练多表示全面增益，BGE-m3 与 NeoMME 实证
antoine_chaffin · x · 2026-10-14
转发者引用 BGE-m3 (2024) 与 NeoMME (2026) 的发现：将 dense/sparse/multi-vec 等多种检索表示联合训练(joint training)比并行/顺序训练全面更优。附图显示自蒸馏消融中稀疏头从 36.7 升至 53.9 nDCG@10，以及 NeoMME-260M 在 ViDoRe v3 和 BEIR-15 上 dual-head joint 训练的 late-interaction 曲线均高于 single-head。作者呼吁更多人采用联合训练 late-interaction 模型。
「研究」频道最新
- AI 秒解数学难题反成隐患:摧毁人类未来的「垫脚石问题」 — JnBrymn · 2026-10-14
- Anthropic 工程师撰文:如何设计一个高质量的 RL 任务 — BraceSproul · 2026-10-14
- MIT 研究者用开源 Molmo 2 追踪声呐视频中的三文鱼，可用自然语言纠错 — allen_ai · 2026-10-14
- 斯坦福 HAI 公布 15 名新 Data Science Scholars,覆盖九大学科 — StanfordHAI · 2026-10-14
- 村上春树的「空无」跑步法:神经科学解释创造力从何而来 — _akpiper · 2026-10-14
- 还有多少人记得 80 年代中期的符号主义 AI 项目 Cyc？ — vishalmisra · 2026-10-14