数学能力突破靠 RL 而非预训练?困惑度指标遭质疑

stochasticchasm · x · 2026-11-23

stochasticchasm 质疑用预训练困惑度(log-perplexity 0.76)来解释模型数学能力爆发的说法:脱离数据集、上下文长度等条件,这些数字很难有意义。他认为数学上的突破性发现和能力提升主要由 RL 驱动,而非预训练。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →