被误读的《苦涩的教训》：Sutton 本人不买 LLM 的账

dotey · x · 2026-11-10

「纠偏」其实是重读原文：《苦涩的教训》本来就主张搜索与学习这类能随算力扩展的通用方法，把这当成新洞见说明很多人只看过标题。
「错误的聪明」与「正确的聪明」是光谱而非楚河汉界：CNN 把平移不变性、局部性等人类先验写死在架构里，数据够多后 ViT 去掉这些先验反而更强；AlphaGo→AlphaZero→MuZero 也是一路删人类知识，两者界限并不干净。
「能随算力变强」是事后标准：每个研究者都认为自己的巧思属于正确的那类，专家系统当年也这么想；若教训只剩「好的创新是好的，坏的创新是坏的」，就既不苦涩也没用了。
Sutton 本人并不买 LLM 的账：他在 Dwarkesh 访谈中直说 LLM 靠模仿人类数据、没有目标、不从经验中学习，这条路本身没吃透苦涩的教训；他说的「巧妙的新方法」指持续学习、从交互中学习等 LLM 尚不具备的东西。把他的话解读成「Transformer 这类创新很重要」，等于把激进的批评磨成了大家爱听的鸡汤。

「漫话AGI」频道最新