新论文实证:LLM 答案正确,思维链步骤却可能是无效的
rao2z · x · 2026-10-01
Rao 等人发布论文《Correct Answers, Invalid Traces: What Verifiable Grade-School Math Reveals About Chain-of-Thought Traces》,核心问题是:模型答对时,它产出的推理过程也一定对吗?
- 实验设置:在小学数学合成数据上,trace 的每一步都可以用程序自动验证,从而严格检验 CoT 的中间步骤
- 结论:即便在 Allen-Zhu 为展示中间 token 语义而专门设计的 iGSM 基准上,LLM 的思维链也未必具有终端用户可理解的语义——答案对了,trace 本身仍可能是无效的
- 这回应了'语义缺失只是我们自己造的基准的伪象'的质疑,延续其 ICML 2026、ACL 2026 与 TMLR→NeurIPS 2026 系列工作
对依赖 CoT 可读性做安全审计与可信推理的工作是重要警示。
「研究」频道最新
- MMBU 挑战赛三赛道详解：27B 以上模型需 API 评测，按改进幅度计分 — LiorOnAI · 2026-10-01
- Lior 联合斯坦福发起 MMBU 挑战赛，10 万美元奖金测试模型视觉理解 — LiorOnAI · 2026-10-01
- 智能合约审计数据集上线 HF，含 1 万至 10 万条漏洞样本 — Zaevlad · 2026-10-01
- FRAC 架构用幂律长记忆取代指数遗忘，提升长上下文 SSM 表现 — Ivan Kobyzev · 2026-10-01
- HCOMP 2026 论文:误差分解驱动的 LLM 数据标注人在环路评估范式 — windx0303 · 2026-10-01
- 研究发现:蒸馏攻击防御评估存在盲区,RL 后续训练可击穿防线 — terryyuezhuo · 2026-10-01