NICT 团队 OptiMer 获 EMNLP2026 杰出论文奖,搜索成本降 15-35 倍
prajdabre · x · 2026-10-28
NICT 研究团队的论文《OptiMer: Optimal Distribution Vector Merging Is Better than Data Mixing for Continual Pre-Training》获得 EMNLP2026 杰出论文奖。
- 核心问题:持续预训练(CPT)中数据混合比例是昂贵超参,必须在训练前固定,选错可能浪费数周算力。
- 方法:对每个数据集各训一个 CPT 模型,提取其「分布向量」(代表该数据集引起的参数偏移),再用贝叶斯优化事后搜索最优组合权重,把配比选择与训练解耦。
- 结果:在 Gemma 3 27B 上跨语言(日/中)与领域(数学/代码)实验中,一致优于数据混合与模型平均基线,搜索成本降低 15-35 倍。
- 附加发现:优化后的权重可解释为数据混合比例,按此配比重训能改进传统 CPT;同一向量池可针对新目标免重训直接再优化,按需产出定制模型。
「研究」频道最新
- 普渡大学推出无GPS无人机:片上激光雷达穿越密林追踪目标 — DavidSKrueger · 2026-10-28
- 研究者推出「AI间道德」实证研究议程，聚焦AI如何感知与对待彼此 — dioscuri · 2026-10-28
- T-DIG 政策可零样本迁移：让 GPT Image 2 与 Gemini 出图更多样 — simi_97k · 2026-10-28
- Cohere Labs 10 月 28 日办 RL 与机器人学习研究会,Lila 与 PI 科学家主讲 — tw_killian · 2026-10-28
- T-DIG 训练中的 reward hacking：只用多样性奖励会生成空白图 — simi_97k · 2026-10-28
- T-DIG 数据集披露：从 HPD V2 过滤 2 万条提示词合成变化轴 — simi_97k · 2026-10-28