UltraX：大模型训练数据精炼框架
zibuyu9 · x · 2026-07-15
OpenBMB 提出新的大模型训练数据精炼框架 **UltraX**，核心思路不是把原始数据整段重写，而是用结构化编辑函数对训练数据做更精细的增删改，从而提升数据质量与效率。 **主要内容：** - 支持 **function-calling** 式精炼，进行插入、删除、修改等细粒度编辑。 - 通过 **LAM + DCR** 管线生成更可靠的监督信号，用于可规模化的数据改写。 - 在 **1B 参数模型的预训练实验**中，作者称其在 **5 个语料**上取得了最佳平均表现。 - 附带论文、GitHub、Hugging Face 和 ModelScope 资源。