EMNLP 论文：用户信任模型结论而非推理，自信语气掩盖错误
MaartenSap · x · 2026-10-25
CMU 与 Seoul National University、Microsoft Research 合作团队的 EMNLP 2026 论文《Critical or Compliant? The Double-Edged Sword of Reasoning in Chain-of-Thought Explanations》研究了 CoT 解释的双刃剑效应。
- 在多模态道德场景中系统性扰动推理链、操纵语气，分析 VLM 推理错误对用户信任与错误检出率的影响
- 发现一：用户常把信任等同于「结论一致」——只要输出结果合意，即便推理有缺陷仍持续依赖
- 发现二：自信的语气会抑制错误检测、同时维持依赖，表达风格能压倒内容正确性
- 遗漏（omission）是最常见也最难察觉的错误类型
- 结论：CoT 解释既能澄清也能误导，NLP 系统应设计鼓励审视而非盲信的解释
代码将开源。
「漫话AGI」频道最新
- 安全研究者放话：验证要做到麦克斯韦方程层，而非止步汇编 — JacquesThibs · 2026-10-25
- repligate:高能力智能无法被编程为无条件顺从的工具 — repligate · 2026-10-25
- VraserX：把「自然」当道德权威很荒谬,出生前防病值得考虑 — VraserX · 2026-10-25
- Anil Seth 等在 Nature 发文论证 AI 无意识，学者批标题与内容错位 — AnnaCiaunica · 2026-10-25
- 施密特发文：OpenAI 和 Anthropic 是现代殖民贸易公司 — The Decoder · 2026-10-25
- Kepler CEO：金融 LLM 永不让模型写数字，代码算数、出处可溯源 — AI Engineer · 2026-10-25