TypeSafe AI 提出「最苦的教训」:选对任务 > 数据 > 算力 > 算法
ZeYanjie · x · 2026-09-20
TypeSafe AI 博客发文《The Bitterest Lesson》,把 Rich Sutton 的 bitter lesson 再推进一层。
- Sutton 的结论是算力胜过精巧算法:搜索击败人工设计的国际象棋知识,神经网络击败手工视觉特征,通用方法+更多计算总是赢。
- 作者认为这只是冰山一角,排序应是:选对任务 > 数据 > 算力 > 算法,「最苦的教训」是做对的任务比什么都重要。
- 游戏里 bitter lesson 最容易显现,因为任务目标明确、数据可靠 self-play 无限生成;现实世界则不然。
- 机器学习的本质是让 reward 上升/loss 下降,但仍需有人决定优化什么目标,这要求理解模型将运行的外部系统。任务选错,loss 和 scaling 曲线再漂亮,模型也可能毫无用处。
- 而 ML 研究的惯例恰恰按相反顺序进攻这些问题:研究者爱发明算法、爱看 scaling 曲线,数据太乱,选任务则往往需要完全跳出 ML 问题去研究用户、产品和组织。
所属事件:「最苦的教训」：选对任务胜过数据与算力(2 条相关)→
「研究」频道最新
- Cohere等论文:合成预训练收益竟源于嵌入初始化偏差 — LauraRuis · 2026-11-04
- kalomaze 展示 DeepSeek V3.1 底座更大骨干实验，eval loss 降至约 0.82 — kalomaze · 2026-11-04
- Reddit 网友无梯度改写 Qwen 0.6B 权重：39.8M token 让模型「爱上一支乐队」 — Altruistic_Heat_9531 · 2026-11-04
- SpecPilot 智能体自动优化投机解码：速度从 4.46× 提升至 10.87× — pmttyji · 2026-11-04
- 自主 Agent 定制 MSA 策略，提升 AlphaFold 3 蛋白复合物预测 — SJTU · 2026-11-04
- 腾讯 LoCo 用局部偏好学习教会模型何时停止思考，推理大幅变短且不掉准确率 — tencent · 2026-11-04