预训练数据域的协同效应
giannis_daras · x · 2026-07-17
这条线程讨论一个研究问题：能否判断预训练时不同数据域之间是“协同”还是“竞争”。 作者给出的观察是：把代码数据加入训练，会提升模型在数学任务上的表现；但某些数据组合会互相伤害。研究者把这种现象称为 **data synergy**，并尝试把它纳入 scaling laws，从而估计不同数据混合的效果。
giannis_daras · x · 2026-07-17
这条线程讨论一个研究问题：能否判断预训练时不同数据域之间是“协同”还是“竞争”。 作者给出的观察是：把代码数据加入训练，会提升模型在数学任务上的表现；但某些数据组合会互相伤害。研究者把这种现象称为 **data synergy**，并尝试把它纳入 scaling laws，从而估计不同数据混合的效果。