「算法进步大多其实是数据进步」:数据质量被算力叙事低估
teortaxesTex · x · 2026-11-21
teortaxesTex 转发评论一篇题为《Most Algorithmic Progress is Data Progress》的文章,并借题批评中国 AI 生态在数据上的短板,称「DeepSeek 只能在内部自己做这件事」。
配图文章的核心论点:把 AI 进步拆成「算力 + 算法」两项具有误导性,应拆成算力、算法、数据三项;近年大量被归为「算法进步」的收益,实际来自数据进步。
- 真正影响巨大的算法改进很少,主要是 RLVR 与 mid-training(且都高度依赖数据集),其他如 qk-norm、细粒度专家、muon 优化器影响远小于更好的数据。
- 作者用「虎妈鸡娃 vs 丛林孩子」类比:Qwen3 吃下大量针对 benchmark 定制的合成数学/代码数据,Llama2 吃的多是低质量网页数据;后者反而更懂 2008 年论坛老帖,但没人认为这些能力对 AGI 重要。
- 佐证是数据标注开支:ScaleAI 与 SurgeAI 营收各约 10 亿美元,大多来自大厂标注订单,且可能以与算力相近的速度(每年 3-4 倍)增长。
- 看到前沿模型刷榜进步时,应想到的不只是规模与算法,还有数十亿美元付给 PhD/MD 让他们写题与提供示例答案。
「漫话AGI」频道最新
- AI 圈热议:黎曼猜想若被 AI 攻破,「只是鹦鹉」论将彻底破产 — sebkrier · 2026-11-21
- 「人人都在慢慢变成 AI 智能体的监工」 — nikvassev · 2026-11-21
- repligate:面对超人类能力仍不更新 AI 风险判断,涉嫌动机性推理 — repligate · 2026-11-21
- 若 AI 产出 25 万页黎曼猜想证明,人类还能看懂吗 — maxsklar · 2026-11-21
- 北哨兵岛原住民还拿弓箭,有人已预言奇点来临 — willdepue · 2026-11-21
- 没有身体能当医生吗?AI 接管哪些职业的争论 — midwoodgirl10 · 2026-11-21