tszzl 谈预训练科学：像蒸汽机先于热力学，正滑向可解释性

tszzl · x · 2026-10-16

研究员 tszzl 引用 Andrew McCalip 关于瓦特蒸汽机的长文，提出类比：预训练科学正如工业革命时期人们在不懂热力学的情况下造出了不错的蒸汽机——「科学从蒸汽机那里得到的，比蒸汽机欠科学的更多」。他引用 L.J. Henderson 的话，并判断若 Nick 的观点正确，进展方向指向更多可解释性研究，预训练正在「蹒跚走向单语义性」（monosemanticity）；他猜测可解释性上的重大突破也将推进能力本身。他还透露自己当年入职 OpenAI 的机缘正是结识 Nick，称看着其思想早期草稿逐步成型十分有趣。