149M参数刷新BEIR纪录，LightOn开源多语言检索模型
_reachsumit · x · 2026-07-30
LightOn 团队近期发布了一项完全开源的检索模型训练方案，旨在消除当前 SOTA 模型因依赖闭源数据而造成的复现鸿沟。
- 数据与模型：研究者从 34 个公共来源中清洗重构了 6.65 亿对英文对比预训练数据，并构建了包含难负样本的微调数据集。基于此训练出 149M 参数的 DenseOn（单向量密集模型）和 LateOn（ColBERT 风格的后期交互模型）。
- 性能表现：这两个轻量级模型在 BEIR 基准上分别取得了 56.20 和 57.22 的平均 nDCG@10 成绩，刷新了同等参数量级下的 SOTA 纪录。
- 多语言泛化：通过将英文数据翻译成 8 种语言，团队进一步训练了 307M 参数的多语言版本。实验发现了一个有趣的现象：尽管共享主干网络，密集模型在未受翻译训练支持的语言上性能会显著下降，而后期交互模型则凭借 token 级别的匹配机制，展现出了更优秀的跨语言泛化能力。
所属事件:LightOn开源多语言检索模型mDenseOn与mLateOn(18 条相关)→
「研究」频道最新
- Microsoft AI 公开 2.8T 模型训法:小模型阶梯实验预测大模型 — hboelman · 2026-10-16
- 冻结模型写入外部记忆:Qwen 与 Mistral 上的隐藏态注入实验复现 — Nearby_Indication474 · 2026-10-16
- 2024 年 Golden Gate Claude 视频再流行:可解释性 premise 至今仍成立 — HarperSCarroll · 2026-10-16
- DeepMind 四个 Gemini Agent 27小时14分钟自主通关 Minecraft — omarsar0 · 2026-10-16
- 新论文称约90%神经元功能清晰,可解释性临近突破引激辩 — The Decoder · 2026-10-16
- MagicBeanStalk 论文：递归合成难题数据，gpt-oss-120b 数学基准提升 8.6 分 — hyunw_kim · 2026-10-16