How Much Is an AI Token Worth? Scaling Laws for Wild AI-Generated Web Text
Jenna Russell, Ben Glickenhaus, Katherine Thai, John Wieting, Mohit Iyyer, Max Spero, Bradley Emi
cs.CL, cs.LG
2026-10-01
预训练 800 个模型实测野外 AI 网文:数据稀缺时略降 loss,20 token/参数以上立即有害;新 scaling law 在 C4 上的预测误差比最佳现有定律低 41%。
预训练数据的大头是网页,而网页里 AI 生成文本的占比正在快速上升:通过 FineWeb 质量过滤后,Pangram 标出 2024 年 6 月有 10.1% 的 token 是 AI 生成,2026 年 6 月升到 27.5%,8 月已是 31.1%。每次爬取都在逼训练团队做选择:AI 文档留下来、滤掉,还是找个最优配比。
此前没有工作正面回答过。model collapse 研究模型递归吃自己的输出,synthetic data 研究为训练精心构造的改写,这篇测的是第三种:野外(wild)AI 文本,来自许多不同模型、写给人类读者、无标签地混在爬取语料里。这才是现在的预训练管线实际面对的东西。
设计目标很明确:让「一个 AI token 值多少人类 token」能变号,数据饥饿时为正、预算充足后为负。重复数据的定律不让价值低于零,数据混合的定律拟合伤害却不把它从收益里分出来,都做不到。
| 设置 | 指标 | 结果 |
| C4 上预测加 AI 文本的影响 | paired RMSE(×10⁻³) | 本文 0.83;Shukor joint 1.41;Chinchilla 4.32 |
| 20 token/参数下,重复人类文本 vs 加 AI 文本 | C4 loss 差距 | 加 1 个 epoch 的量后低 2.3%,加 8 个后低 6.36.4% |
| 22.3% AI 占比的混合验证集 | 有害 run 被报成改善 | 95.5%(符号在 5.1% 占比处翻转) |
| 质量过滤器的偏向 | AI 文档存留率是人类文档的 | FineWeb 2.3 倍,DCLM 9.8 倍 |
| 31.1% AI 占比下不滤掉的代价 | 等效算力 | 1.6 倍;2028 年预测占比下 3.0 倍 |
AI 文本只在人类数据稀缺时有价值:5 token/参数时 C4 上的最优 AI 配比是 37%,到 20 token/参数只剩 1.0%。滤掉 AI 文本的直接实验里,预算超过约 1015 token/参数后,数据更少的纯人类模型 loss 反而更低,新定律 19 对里方向对 18 对,Chinchilla 在 13 对该降 loss 的场合全部预测反。训练在 AI 文本上还会改变文风:268M 模型的 AI 高频短语从每千词 0.16 升到 0.54(r=4),r=2 时 Pangram 把生成故事标为 AI 的比例翻倍(37.2% 对 18.6%)。目标换成预测 AI 文本(Cosmopedia)时结论反转:最优配比始终高于 90%,第一个 AI token 折合 20 个以上人类 token。
对做预训练数据管线的人,这篇给的是能直接执行的动作:目标为人写文本就滤掉 AI 网文,现代模型普遍远超 20 token/参数训练,全落在伤害区;数据不够就重复人类文本,别拿 AI 文本凑;验证 loss 按人写与 AI 分开报,混合验证集在 5.1% AI 占比以上会把伤害显示成改善。现有质量过滤器在反向筛选(AI 文档更容易活下来),这个错位随 AI 占比上升只会更糟。
作者自述:定律在 268M 以内拟合、973M 验证,更大的模型记忆更多、受模型生成数据的伤害可能更深,外推到前沿尺寸没有验证;只测 next-token loss,模型太小撑不起有意义的下游评测;只覆盖英文网页文本和 Pangram 标签;8B 尺寸的算力对比是定律投影,没训过 8B 模型。
读下来另有两点。AI/人写的二分完全依赖检测器精度,0.05% 误报率在 31% 占比下够用,但 AI 文本内部的质量差(强模型输出对 SEO 垃圾)被抹平了。2028 年 50.7% 的占比预测用带漂移的随机游走外推,95% 区间宽达 31%70%,3.0 倍算力这个数字继承了很宽的不确定性。