LLM 思维链常与内部计算不符,新研究用 CIA 指标对齐两者
eunsolc · x · 2026-10-09
Yihuai Hong、Eunsol Choi 等人在 arXiv 发布论文《Making LLMs Say What They Think》,研究模型思维链(CoT)与内部真实计算的错位问题。
- 提出 CIA(CoT-Interpretability Alignment) 指标:用可解释性工具探测模型内部推理策略,检验其与 CoT 叙述是否一致
- 在两跳问答、hint intervention、整数乘法三个任务、三个 LLM 上评测,发现对齐度仅 44.8%–75.9%,即 CoT 经常没有如实反映内部计算
- 将 CIA 与任务准确率共同作为奖励做后训练,可显著提升 CoT 的参数忠实度,同时保持或提高任务准确率
- 提供了审计 CoT 忠实度的框架与代码、数据,是让模型显式推理更可信的一条路径
所属事件:NYU研究：LLM思维链与内部计算常不符(2 条相关)→
「研究」频道最新
- Anima Anandkumar 演讲：AI 气象模型胜超算，但不会取代科学家 — AnimaAnandkumar · 2026-10-23
- GLM-5.3-Flash 实现 1M token 上下文训练，较基线提升 64 倍 — AndrewLBeam · 2026-10-23
- 作者用布尔逻辑造 LM:前向传播单线程仅需几微秒但训练极慢 — cephaloform · 2026-10-23
- AdaDex:几秒人手视频即可教灵巧手学会抓取、抛接等可泛化技能 — mangahomanga · 2026-10-23
- ReAPO 论文:RLVR 中让模型在失败后重试,推理成绩与训练效率双升 — jasondeanlee · 2026-10-23
- 首个可跑在真实量子电路上的 JEPA 世界模型 Quantum-JEPA 发布 — DrMorganLevine · 2026-10-23