预训练时代正在变质

deanwball · x · 2026-07-12

转发内容的核心观点是：预训练规模过去主要用于更好地拟合人类语言，但现在更重要的作用，可能是为后训练后的样本效率推理、长程规划等能力提供神经容量。

作者认为，这会让“单靠堆算力买到前沿能力”变得更难，因为低垂的网页抓取数据已经被用得差不多了；真正需要的后训练数据，更像是从大量不同奖励环境和用户-智能体的 OODA 循环中，通过“边做边学”式的微实验不断生成。文中还提到，这类数据极其昂贵，甚至用“60 亿美元的 SpaceX / Cursor 收购”来类比其价值。最后还强调，除了模型蒸馏，你很难直接从零把一个前沿智能体“跳到终点”。