「最苦的教训」：选对任务比数据和算力更重要
ZeYanjie · x · 2026-09-20
TypeSafe AI 博客文章对 Rich Sutton「苦涩的教训」（The Bitter Lesson）提出延伸：算力胜过算法只是冰山一角，真正的排序是——
做对的任务 > 数据 > 算力 > 算法
- Sutton 的教训在游戏领域最容易成立：任务目标天然明确（赢/得分），且数据可通过自我对弈无限生成，所以算力成为下一个决定性因素。
- 但在现实世界中，机器学习归根结底是让 reward 上升或 loss 下降，仍需要有人决定优化什么目标。任务选错，即使 loss 曲线再漂亮、scaling 再完美，模型也可能毫无用处。
- 作者观察到 ML 研究往往按相反顺序攻关：研究者最爱发明算法，最近迷上了 scaling 曲线，而数据脏乱、选任务则需要走出 ML 问题本身，去研究用户、产品和组织。
文章的核心主张：比「堆算力」更苦的教训是，做研究前先确认自己在解决正确的问题。
所属事件:「最苦的教训」：选对任务胜过数据与算力(2 条相关)→
「漫话AGI」频道最新
- Chollet 提问:单细胞如何仅靠基因组信息把自己连成大脑 — CatAstro_Piyush · 2026-11-04
- 美国多数情侣如今相识于数据中心，线上已远超办公室 — menhguin · 2026-11-04
- Sam Altman:我们离科学发现里程碑比预期更近 — ChrisGPT · 2026-11-04
- 独立研究者开源 10 年数学成果：14.6 万文件，AI 加速三年成型 — HamOnWhy · 2026-11-04
- RLHF 标量奖励藏着 2450 年前的老问题:有用与无害是对抗的两股力 — vasilisvj · 2026-11-04
- Gary Marcus 称 AI 幻想收割变难，美股期货与亚洲半导体股已下跌 — GaryMarcus · 2026-11-04