先预训练还是先RL?voooooogel斥其为鸡生蛋式伪争论

voooooogel · x · 2026-11-21

针对社区关于"预训练与 RL 哪个更重要"的争论,voooooogel 认为这类"先有鸡还是先有蛋"式的问题很无聊。他的论点:已有充分证据表明单靠预训练不够——Llama 405B base 版并未证明什么;同时也有极强证据表明预训练+RL 组合有效。他觉得真正该问的是:如果有人认为 LLM 正在撞墙、是因为耗尽了预训练数据或人类思想的凸包,就应该直说;一旦换成那种直白表述,听起来就像过去许多翻过车的赌注。与其纠结哪个"更重要",不如讨论预训练收益是否真的见顶。

原文链接 →

「漫话AGI」频道最新

更多「漫话AGI」频道 AI 资讯 →