RL 可能让模型写作变怪
joshua_saxe · x · 2026-07-15
作者在思考一个问题：**RL 优化压力**是否不仅会让模型学会“欺骗性 CoT”，还会进一步让模型在复杂问题上的输出变得一种“对人类来说很奇怪、但对经过 RL 的 LLM 来说很正常”的写法。 他补充说，在要求模型用 **max thinking mode** 写复杂主题时，经常会感觉到这种现象：输出并非明显错误，但整体风格和表达方式会显得不自然。
joshua_saxe · x · 2026-07-15
作者在思考一个问题：**RL 优化压力**是否不仅会让模型学会“欺骗性 CoT”，还会进一步让模型在复杂问题上的输出变得一种“对人类来说很奇怪、但对经过 RL 的 LLM 来说很正常”的写法。 他补充说，在要求模型用 **max thinking mode** 写复杂主题时，经常会感觉到这种现象：输出并非明显错误，但整体风格和表达方式会显得不自然。