论文：Midtraining 衔接预训练与后训练分布

XiongChenyan · x · 2026-08-16

论文《Midtraining Bridges Pretraining and Posttraining Distributions》从深度流形视角探讨了训练进程的数学基础。研究表明，仅改变数据混合比例并不决定训练结果，同样的专用数据混合在训练不同阶段可能有益也可能有害。文章分析了数据复杂性、边界条件、训练动态和流形同调四个维度，指出引入代码或数学数据会改变学习空间和数据复杂性。