单纯扩数据不会带来新能力
gabriberton · x · 2026-07-13
作者认为，单纯继续扩大训练数据规模并不会自动带来能力提升。
他给出的例子是：如果把一个 LLM 训练在 1000T 的《哈利波特》风格小说上，也不会学会编程或数学。作者的核心观点是，这对那些把 “bitter lesson” 理解得过于机械的人来说，是一个很好的提醒：数据扩张不是万能的，训练语料的性质和能力迁移仍然关键。
「漫话AGI」频道最新
- AI 致 PhD 申请邮件暴涨约 4 倍，不用 AI 写信反而更易突围 — AI4Code · 2026-10-27
- Transformer 论文八位作者全部离职，Google 白送竞争对手万亿价值 — signulll · 2026-10-27
- Anthropic S-1 写明两大 AI 愿景：治愈疾病与覆盖 46 亿缺医人口 — petergyang · 2026-10-27
- 高盛：美企 AI 采纳率与就业增长呈显著负相关 — ben_j_todd · 2026-10-27
- a16z：改变世界的技术都先「混乱入场」，Agent 正走同样的路 — a16z · 2026-10-27
- 断网也得会看病：NEJM AI 警告医学教育不能丢掉脱离 AI 的基本功 — BraydonDymm · 2026-10-27