Qwen3-0.6B 刷平 MS MARCO:靠数据工程与 Model Soup,不改架构

_reachsumit · x · 2026-10-14

单篇研究报告显示,0.6B 的 Qwen3 小模型无需架构改动、自定义损失或交叉编码器蒸馏,即可在 MS MARCO 段落排序上达到有竞争力的成绩。增益主要来自数据侧手段:面向语料的继续预训练、严格数据清洗、难负例挖掘、训练-推理分布对齐,以及 Model Soup 权重合并——后者在保持单模型推理效率的同时带来显著提升。文章在 BM25+重排、全库稠密检索、稠密检索+重排三种设定下验证了结论,说明亚十亿参数模型靠数据工程也能逼近 SOTA。