前置训练靠互联网公地，后训练数据公地还不存在

dlwh · x · 2026-10-15

David Hall（dlwh）发文指出，预训练数据红利来自人类数十年无意间建成的数字公地：Wikipedia、ArXiv、Stack Exchange、Project Gutenberg、开源代码库，加上自 2007 年起约 10PB 的 Common Crawl 存档——GPT-3 约 60% 训练数据源自 Common Crawl，初代 Llama 数据几乎全部来自互联网公地。

但后训练逻辑不同：它消耗的是「任务」而非「文档」，而高质量任务数据的开放公地目前并不存在。作者发起 Open Athena 项目，呼吁社区有意识地建设后训练数据公地，就像当年 Wikipedia 和 Common Crawl 一样。文章还讨论了网页清洗为 LLM 就绪语料的工程难度。