单纯扩数据不会带来新能力
gabriberton · x · 2026-07-13
作者认为，单纯继续扩大训练数据规模并不会自动带来能力提升。
他给出的例子是：如果把一个 LLM 训练在 1000T 的《哈利波特》风格小说上，也不会学会编程或数学。作者的核心观点是，这对那些把 “bitter lesson” 理解得过于机械的人来说，是一个很好的提醒：数据扩张不是万能的，训练语料的性质和能力迁移仍然关键。
「漫话AGI」频道最新
- Anthropic 内部爆料:并非人人都持高 p(doom) 灾难论 — anpaure · 2026-09-11
- 一万个智能体能否突破反向传播,找到更好的学习算法 — SeunghyunSEO7 · 2026-09-11
- AI 陪伴的隐秘代价：它消解了建立真实亲密关系所需的摩擦 — YogeshMalik · 2026-09-11
- Wired 深度解析:为何众多 AI 研究者担心机器威胁人类生存 — wiredmagazine · 2026-09-11
- 「幻觉」或是范畴错误:把 AI 叫智能正在限制我们的想象 — Genaforvena · 2026-09-11
- 观点：Agent 真正的瓶颈是企业数据工程能力 — dhruv2038 · 2026-09-11