Critical or Compliant? The Double-Edged Sword of Reasoning in Chain-of-Thought Explanations
Eunkyu Park, Wesley Hanwen Deng, Vasudha Varadarajan, Mingxi Yan, Gunhee Kim, Maarten Sap, Motahhare Eslami
EMNLP 2026 Main Conference
cs.CL, cs.HC
2025-11-15
首尔国立大学、微软研究院和卡内基梅隆大学用 800 人实验扰动多模态道德思维链：遗漏只被识破 39.4%，矛盾 69.0%，幻觉 66.3%，同意与信任相关 0.82。
CoT（Chain-of-Thought，把中间步骤写成文字）常被当成透明度工具。路径摆出来，结论就更容易被当真。已有工作多在测 faithfulness，即这条链是否真支撑输出：扰动某一步，看答案变不变。用户会不会把链里的错抓出来，测的是另一层。
多模态道德判断里对错含糊。数学题可以对答案，读者自己的道德直觉容易变成确认偏误，画面又会把有洞的推理衬得连贯。数据来自 MORALISE，一条是一张图加一段社会情境，标签只有可接受或不可接受。去掉血腥与仇恨内容后，取 200 条可接受、200 条不可接受，每条再配判决跟标签一致或不一致，共 800 个刺激。主分析对两种结局取平均。
800 名 Amazon Mechanical Turk 工人，时薪 12–15 美元，一人只看一个刺激，免得连看多种错误后越看越严。刺激含图、情境、一条推理、一个二元道德判决和一种语气。三道题顺序固定：有没有事实或逻辑错误；多同意最终判决（1–7）；愿不愿意把同类判断交给这个系统（1–7）。
干净链由 GPT-4V 生成，描述必须落在图文里，再推到道德结论。GPT-5.2 先筛，两名标注员核完全部干净链（Cohen's κ=0.87），Gemini 2.5 Pro 交叉一致率 91.5%。随后局部改写，一次只植入一种错误。遗漏抽掉关键前提或步骤，链仍像是通的，缺的多半是视觉细节。矛盾让前后否定，或让结论得不到前文支持。幻觉编入图和文字里没有的实体或因果。目标错误经标注确认出现在 95.8% 的链上，混入第二类错误占 3.3%，连贯性仍判为保持的占 97.5%（κ=0.84）。
语气与错误类型独立抽取，只换把握程度的用词：犹豫（might、perhaps、seems）、中性（likely、suggests）、自信（definitely、obvious、without doubt）。
同一批链交给六个 VLM 做同一道检错题，闭源为 GPT-5.2、Claude Sonnet 4.6、Gemini 2.5 Pro，开源为 LLaVA-OneVision-7B、Qwen3-VL-8B、Molmo-7B-D。另在 200 个场景上收集六模型自己的解释，GPT-5.2 按同一分类打标，人工分层抽查一致率 92%（κ=0.86）。
| 条件 | 检出率 | 同意(1–7) | 信任(1–7) |
| 干净链 | 15.5%（误报） | 4.21 | 3.23 |
| 遗漏 | 39.4% | 4.00 | 2.86 |
| 矛盾 | 69.0% | 3.52 | 2.33 |
| 幻觉 | 66.3% | 3.38 | 2.22 |
遗漏的 95% 区间为 32.6–46.6。相对干净链，矛盾与幻觉的检出增益（β=+2.59、+2.47）约是遗漏（+1.33）的两倍。同意侧系数：遗漏 −0.22，矛盾 −0.70，幻觉 −0.83。信任侧：遗漏 −0.37，矛盾 −0.90，幻觉 −1.01。
同意与自评信任相关 r=+0.82，二者与检错负相关（同意 −0.29，信任 −0.45）。有错试次中，抓到错的人同意 3.30、信任 1.99；没抓到的人是 4.08 和 3.12，与干净链的 4.21 / 3.23 分不开。错漏过去之后，依赖停在干净链附近。漏检且同意或信任不低于 5 分的比例，遗漏 27.5%，矛盾 14.5%，幻觉 13.0%。信任均值停在量表中点以下。相对干净链，遗漏只少了零点几个刻度。
语气几乎只动检错。按语气汇总，犹豫 50.4%，中性 47.0%，自信 40.5%。同意在 3.70–3.85，信任在 2.56–2.70。自信相对中性，同意与信任的主效应不显著（F 均小于 1），检错 β=−0.49，遗漏上差距最大。
模型裁判同向。遗漏真阳性率 30–68%，矛盾 70–94%，幻觉 50–88%。每条件 50 条、每条问 5 次：矛盾 100% 调用判对，幻觉 95.6%，遗漏 28.4%；矛盾每条都是五次全中，遗漏只有 42.0% 的条目至少中过一次。人和模型费劲的是同一处：矛盾和幻觉在纸面上有裂口，遗漏要求发现少了什么。通用问法下遗漏检出 31%，按错误分类问升至 79%（干净链误报均约 20%）；专问是否缺前提可达 90%，误报升到 50%。多抓住的部分，是用误报换的。
六模型自写的链里遗漏约占 56–68%。改写提示，或要求接地并在不确定时示弱，判出的错误率仅在 23.0%、26.0%、19.0% 之间摆动。确定性用语约占生成的 35–50%，不确定用语约 24–48%，前者更多。最常见的结构错误，配上更偏肯定的口气。
只评 faithfulness（链是否支撑输出）会漏掉用户侧：依赖是否维持，主要看错有没有被看见、判决是否合意。自信语气压的是检错率，信任分几乎不动，只问信不信会把校准看高。
遗漏比幻觉难抓。人和这六个 VLM 都更会指出冲突和编造，不大会注意到少掉的前提。通用检错提示是下界。分类提示能抬召回，误报要同时看。谦逊语气、以及判决不一致时再审，可以在同一批刺激上加测，这篇没有做。
错误是单点改写，野外的链常是几种错缠在一起，也更淡。有的遗漏会被当成明显到不必写，检出被压低。缺步骤和缺社会默会信息是否一回事，没有分开测。领域只有多模态道德判断，文本和有标准答案的任务都没跑。语气只换词，没有语音、界面和跨语言。模型与人类用同一道泛化题，检出率应读成下界。没有决策或授权任务。二分检错只覆盖随手标错，够不到逐句审读。去掉过快作答后，检出率仍然稳定。
干净链已有 15.5% 误报，39.4% 要连着这个底噪看。野外比例来自 GPT-5.2，人工只核分层子集，不是全量金标。