ICML新研究：模型越大越耐预训练数据重复

ICML一项研究探讨大模型预训练中高质量领域数据稀缺时通过重复数据维持固定tokens-per-parameter（TPP）的策略。研究发现模型越大对数据重复的容忍度越高，在固定token数与参数量下，更大的模型可以容忍更多重复；更高的模型规模与更短的学习率调度也与更强的重复容忍性相关。这为算力受限场景下的数据策略提供了新依据。

2026-08-22 ~ 2026-08-22 · 2 条相关