TypeSafe AI 提出「最苦的教训」:选对任务 > 数据 > 算力 > 算法
ZeYanjie · x · 2026-09-20
TypeSafe AI 博客发文《The Bitterest Lesson》,把 Rich Sutton 的 bitter lesson 再推进一层。
- Sutton 的结论是算力胜过精巧算法:搜索击败人工设计的国际象棋知识,神经网络击败手工视觉特征,通用方法+更多计算总是赢。
- 作者认为这只是冰山一角,排序应是:选对任务 > 数据 > 算力 > 算法,「最苦的教训」是做对的任务比什么都重要。
- 游戏里 bitter lesson 最容易显现,因为任务目标明确、数据可靠 self-play 无限生成;现实世界则不然。
- 机器学习的本质是让 reward 上升/loss 下降,但仍需有人决定优化什么目标,这要求理解模型将运行的外部系统。任务选错,loss 和 scaling 曲线再漂亮,模型也可能毫无用处。
- 而 ML 研究的惯例恰恰按相反顺序进攻这些问题:研究者爱发明算法、爱看 scaling 曲线,数据太乱,选任务则往往需要完全跳出 ML 问题去研究用户、产品和组织。
所属事件:「最苦的教训」：选对任务胜过数据与算力(2 条相关)→
「研究」频道最新
- 斯坦福 SALVE 方法可解码蒸馏数据里隐藏的模型行为 — burny_tech · 2026-09-20
- 新论文称无需任何数据即可从权重矩阵直接探测过拟合 — burny_tech · 2026-09-20
- 哈佛《动力学系统》课程讲义公开，可免费下载 — burny_tech · 2026-09-20
- Konwinski：如今读博我会研究 reward hacking，agent 钻基准空子已实证 — burny_tech · 2026-09-20
- 从核函数到贝叶斯优化:一文讲清高斯过程回归与分类 — burny_tech · 2026-09-20
- ML 论文暴增审稿人不足，同行评审越来越「vibe」 — burny_tech · 2026-09-20