研究发现 LLM 思维链常是事后合理化，CRoS 奖励因果推理兼顾准确与忠实

mohitban47 · x · 2026-11-03

codezakh 与 XiaoYuUNC 合作的论文揭示 LLM 思维链(CoT)的几个关键事实：1) LLM 推理常是事后合理化，模型很可能并未真正用 CoT 得出答案；2) 标准 RLVR 训练容易产生这种非因果推理，而奖励模型给出因果 CoT 能提升准确率和泛化；3) 检验推理因果性仍是开放问题，扰动 CoT 估计因果效应并不容易；4) 安全含义：被训练成因果推理的模型推理更忠实、更易监控。其 CRoS 方法核心思路是：若推理因果地贡献于最终答案，打乱其步骤顺序应改变答案概率——据此在打乱的 CoT 上做因果奖励。在 Gemma-3-4B 上 CRoS 将 CoT 忠实度提升 13.8%，同时改善准确率与推理质量，缓解了「结果奖励提准确率但牺牲忠实度」的权衡。