被误读的 Bitter Lesson：算力越大越需要好算法
tw_killian · x · 2026-11-10
@MillionInt 发长文反思「Bitter Lesson」被一代研究者误读的问题：scaling transformers 曾在短期内扛起了大部分进展，导致整个圈子被「reward hack」了思维。
核心观点：
- 训练投入的算力越多，所用算法反而越重要——存在能 scale 的算法和不能 scale 的算法。
- 真正的教训不是「算法无关紧要」，而是大量精力被浪费在最终证明是死路的 Directions 上；同时还有许多完全未探索的 scaling 维度。
- 引用者 @Taodav 简短总结：还是得学 RL（那些 Bellman 的好东西），暗示 RL 类算法是值得深耕的 scale 方向。
「漫话AGI」频道最新
- SlopOps 警告:把 agentic 编码能力当竞争优势,是在玩「slop 彩票」 — generativist · 2026-11-10
- 哲学家 Schwitzgebel 再谈 AI 意识可能性,22 分钟访谈上线 — eschwitz · 2026-11-10
- Yudkowsky 自嘲式断言:AI 写小说远逊写代码,人类或因此尚未灭绝 — sebkrier · 2026-11-10
- S&P 500 公司寿命从 61 年缩至 15 年，竞争优势比史上任何时候都关键 — RogerLMartin · 2026-11-10
- 不受约束的智能杀死可理解性，正如不受约束的分发杀死注意力 — fkasummer · 2026-11-10
- 数学家 Strogatz 播客对谈：AI 正在颠覆数学，人类洞见过时了吗 — stevenstrogatz · 2026-11-10