OptiMer 获 EMNLP 杰出论文:预训练数据配比提速 15~35 倍
机器之心 · wechat · 2026-11-15
日本 NICT 的宋海越及团队的论文 OptiMer 获 EMNLP 2026 杰出论文奖（17,661 篇投稿中仅 22 篇入选），解决持续预训练中数据配比试错成本极高的问题。
方法：先在各类数据（如日语、中文、数学）上分别持续预训练，提取每个模型与基座的参数差作为"分布向量"；再用贝叶斯优化自动搜索最优合并比例，每次尝试只做模型合并与评估，无需重新训练。
效果：配比优化阶段加速 1535 倍——传统方法训一个配比需 129.3 小时，OptiMer 尝试 100 次配比仅需 8.5 小时；C-Eval、MMLU、GSM8K 等基准平均得分 70.37，高于传统数据混合的 63.71。合并权重还可反过来指导数据配比（重训后提升至 68.66）。
特性：可复用分布向量快速适配新任务，产出领域/语言特化模型；在 Gemma-SEA-LION-v4-27B 上将日语得分从 66.34 提至 74.40，同时保留东南亚语言能力。分析显示不同分布向量间余弦相似度约 0.3、与指令遵循向量近垂直，解释了可合并性；权重甚至可为负，暗示机器反学习的可能。
「研究」频道最新
- 训练时加随机噪声并要求价值观保持稳定,可提升对齐泛化 — Sauers_ · 2026-11-15
- medRxiv 新预印本:用基因组变异与纵向 EHR 建模疾病轨迹 — anshulkundaje · 2026-11-15
- Llama 405B 基座模型原生模拟 o1 思维链,展现分布外上下文学习能力 — Sauers_ · 2026-11-15
- Magic称预训练效率提升逾10倍，约50万美元复现DeepSeek V4 Base — oran_ge · 2026-11-15
- OpenDS-World 基准：12 个前沿模型最强者仅答对 39% 真实网页研究任务 — jiqizhixin · 2026-11-15
- 跨文化实测：儿童语言习得多发生在三人以上多方对话 — abenitezburraco · 2026-11-15