RL 训练后还说 LLM 只是「预测语言」？研究者称该说法已失效

morqon · x · 2026-09-25

Chris Hayduk 提出：既然如今大量训练算力已不再用于优化下一个词预测，继续说 LLM「靠预测语言工作」是不准确的——至少在经历大量 RL 训练之后，这种表述已无助于理解模型。

他给出的替代理解是：所谓「预测语言」，应理解为「预测能解决眼前难题的那条语言链」，而非字面上的「预测下一个 token」或「随机鹦鹉」。这一观点挑战了流行的 stochastic parrot 说法，指向 RL 后模型行为的重新定性。