NYU 提出 CIA 指标:LLM 思维链仅 44.8%-75.9% 反映内部计算
newyorkuniversity · hf · 2026-10-07
纽约大学团队研究 LLM 的思维链(CoT)与其实际内部计算的对齐问题。已有证据表明模型 CoT 常不能反映内部计算,且可被改写而不影响最终答案。
核心贡献
- 提出 CIA(CoT-Interpretability Alignment)指标,用可解释性工具检测模型内部推理策略,衡量其与 CoT 表述的一致程度
- 在两跳问答、提示干预(hint intervention)、整数乘法三个任务、三个 LLM 上评测,发现所有任务对齐度仅 44.8%-75.9%
- 通过后训练同时以任务准确率与参数忠实性为奖励信号,可大幅提升 CoT 参数忠实性,同时保持或提高任务准确率
- 提供泛化模式等分析,代码与数据开源:github.com/yihuaihong/CIA-minimal-repro
该工作为审计 CoT 忠实性提供框架,也给出让模型显式推理更可信的路径。
所属事件:NYU研究:LLM思维链与内部计算常不符(2 条相关)→
「研究」频道最新
- OpenAI 首次公开内部预训练困惑度曲线,提议以 perplexity 定行业安全标尺 — merettm · 2026-11-23
- AI 数学蜂群新成果:962 变量四次多项式被证明已是最优 — gleech · 2026-11-23
- AI 数学证明后的阐释整理工作,已因 OpenAI 准黎曼结果泛滥? — gleech · 2026-11-23
- CMU 发布 ExploitBench:把 LLM 网络攻击能力做成「阶梯」评测 — goyal__pramod · 2026-11-23
- 哈佛论文:SWE-Bench 更高分的编码模型并未干更多活 — rohanpaul_ai · 2026-11-23
- 普林斯顿团队发布 SSoN 基准:最强视觉模型空间一致性仅 39.7%,人类 83.3% — jiqizhixin · 2026-11-23