实测观察：RL 过度的模型丧失创造力，回复趋同

bendee983 · x · 2026-10-13

作者基于实际使用经验指出，被 RL(强化学习)过度后训练的模型会丧失创造力：对同一个模糊 prompt(如「讲个故事」「讲个笑话」)多次提问，即使调高 temperature 也会得到非常相似的回答；相比之下 base model 的输出多样性明显更高。

因此他建议：使用重度后训练的 reasoning 模型时，尽量把意图表达得足够详细、具体，否则模型会滑向「默认轨迹」，给出千篇一律的答案。