8TB 公版数据集 Common Pile:开放数据仍在增长,每年新增已够用

BlancheMinerva · x · 2026-10-17

EleutherAI 的 Stella Biderman 回应「开放数据正在枯竭」的担忧:尽管大量网站收紧爬取限制,公开许可与公有领域数据的总量仍在增长,因为每年新产生的数据更多。附论文《The Common Pile v0.1》:8TB 开放授权预训练语料,覆盖论文、代码、书籍、百科、教育资源等 30 个来源;作者用其训练了 Comma v0.1-1T 与 2T 两个 7B 模型,性能可与未授权语料训练的同级模型竞争。图示显示 Common Pile 约 3.8TB(约一半)是 2020 年后创建的内容。