The Pile策展人自曝：两人凭感觉过滤数据，外界反应震惊
BlancheMinerva · x · 2026-07-07
一位参与构建The Pile大型开源训练数据集的研究者透露，当年的数据策展过程相当非正式：主要由她与同事Stella Biderman（@nabla_theta）两人阅读数据，依据主观判断决定去除不喜欢的内容。这一披露令许多人感到意外，因为The Pile被大量开源语言模型用作训练数据，其策展方式直接影响了模型的行为和偏见。该信息引发了关于早期大规模训练数据集在数据治理规范性上的讨论。