小模型加分类头还是通用大模型？两人激辩预训练数据标注方案
tulkenss · x · 2026-10-09
研究者 tulkenss 与 FineWeb 团队作者 antoinechaffin 就预训练数据过滤的模型选型展开讨论。tulkenss 质疑用较小「决策器」是否真的优于专门的任务模型，并认为 fine-web-edu 模型设计很奇怪：冻结主体加回归头来做分类任务。antoine 反问是否试过更小的 decider，两人均承认尚未实测。
tulkenss · x · 2026-10-09
研究者 tulkenss 与 FineWeb 团队作者 antoinechaffin 就预训练数据过滤的模型选型展开讨论。tulkenss 质疑用较小「决策器」是否真的优于专门的任务模型，并认为 fine-web-edu 模型设计很奇怪：冻结主体加回归头来做分类任务。antoine 反问是否试过更小的 decider，两人均承认尚未实测。