单纯扩数据不会带来新能力
gabriberton · x · 2026-07-13
作者认为，**单纯继续扩大训练数据规模并不会自动带来能力提升**。 他给出的例子是：如果把一个 LLM 训练在 **1000T** 的《哈利波特》风格小说上，也不会学会编程或数学。作者的核心观点是，这对那些把 “bitter lesson” 理解得过于机械的人来说，是一个很好的提醒：**数据扩张不是万能的，训练语料的性质和能力迁移仍然关键**。
gabriberton · x · 2026-07-13
作者认为，**单纯继续扩大训练数据规模并不会自动带来能力提升**。 他给出的例子是：如果把一个 LLM 训练在 **1000T** 的《哈利波特》风格小说上，也不会学会编程或数学。作者的核心观点是，这对那些把 “bitter lesson” 理解得过于机械的人来说，是一个很好的提醒：**数据扩张不是万能的，训练语料的性质和能力迁移仍然关键**。