用 LoRA 合并寻找最佳数据配比，大幅节省预训练算力

pratyushmaini · x · 2026-08-13

研究人员提出了一种寻找大模型最佳训练数据混合比例的新思路，以大幅节省算力开销。

传统方法通常需要训练数千个小型的代理模型来搜索最佳配比。而 Michael Hu 团队提出的新方案将其简化为每个数据集只需运行一次：对每个数据域单独训练一个 LoRA 适配器，随后将这些适配器进行合并，合并后的表现即可作为原数据混合物训练效果的近似代理。