实测：pplx-decider 可开箱即用地替代 Fineweb-edu 分类器筛数据

bo_wangbo · x · 2026-10-08

作者指出，很多团队依赖 embedding 模型构建高质量预训练数据——典型案例是 Fineweb-edu：在 Fineweb 基础上用 fineweb-edu-classifier（一个 6 级评分的文本质量分类器）做关键清洗步骤。

作者抽样 1k 条 Fineweb-2 页面，将 Jev/pplx-decider-v1.1 与 Fineweb-edu-classifier 对照 Astra 标注结果进行比较，结论：decider 同样能胜任数据质量判断，且开箱即用，无需专门训练质量分类器。