预训练被指数字圈地运动，后训练数据公地仍缺失

研究者 David Hall(dlwh)发文指出，预训练红利来自 Wikipedia、ArXiv、Stack Exchange 等数十年无意间建成的数字公地，而后训练消耗的是任务而非文档，这样的「任务公共池」目前并不存在，须刻意建设。他承认预训练在某种意义上是一场圈地运动，把数百万人创造的知识圈占且作者未获酬；Blanche Minerva 则回应称其设想的模式「恰恰不是公地」，引发后训练开放数据来源之争。

2026-10-15 ~ 2026-10-16 · 4 条相关

• 前置训练靠互联网公地，后训练数据公地还不存在 — dlwh · 2026-10-15
• 后训练吞噬任务而非文档：开放模型下一代数据从哪来？ — NeelRajani_ · 2026-10-16
• 预训练是数字圈地运动?dlwh 谈后训练数据公地的设想 — dlwh · 2026-10-16
• Blanche Minerva 回应预训练数据公地争议:后训练公地须刻意建设 — BlancheMinerva · 2026-10-16