预训练是黑板上的数学,后训练是喝健怡可乐喊超参数的牛仔研究

himanshustwts · x · 2026-10-17

tszzl 的段子在 AI 圈刷屏:预训练是「优雅的科学」,由数学家在冷房间里推导优化理论、工程师驾驭超大规模分布式系统;后训练则是「让人头皮发麻的牛仔研究」——一屋子人灌着健怡可乐,互相吼着新超参数,「表格跑太多了！vibes 变差了,把旋钮调低！」,最后喊着「checkpoint gpt-9-final-v320-restart4」。

himanshustwts 引用时补刀:这个 checkpoint 命名本身就在骂人。精准吐槽了 pretraining 与 posttraining 两种完全不同的工作文化。