数据过滤是零权重混合特例,分布基础待解

SinclairWang1 · x · 2026-08-24

SinclairWang1 指出,数据过滤本质上是数据混合中权重为零的特殊情况。他观察到 Nemotron 和 FineWeb 在不同数据分布下能达到相似的性能分数,认为目前在数据分布与混合方面仍需建立大量基础性理解。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →