「The Pile 含 8% 基督教内容」论文遭打脸:关键词法误计长篇书籍

cis_female · x · 2026-09-18

Tim Hwang 发表的 ICMI 工作论文曾引发关注:他用严格关键词分类法对 The Pile(约 8250 亿 token 的开源预训练语料)的 10 万文档样本做估计,得出约 670 亿 token(8.1%)是明确基督教内容,是伊斯兰内容的 32 倍、佛教的 19 倍、印度教的 45 倍、犹太教的 93 倍,相当于 15 个英文维基百科,并据此提出「Christian Prior」假说——前沿模型的道德推理默认更多被基督教传统塑造,所有对齐后训练都建立在这一先验之上。

但推主 cisfemale 指出该结论的方法缺陷:Hwang 把命中一定关键词数量的来源计为「基督教来源」,而他 90% 的所谓基督教来源只是顺带提到基督教的长篇书籍,并非基督教书籍。这意味着 8.1% 的估计可能严重高估,「对齐社区忽视基督教先验」的定量论证基础动摇。