芝大论文:LLM 说不清自己决策的关键分歧点,抽样对比才有效
rohanpaul_ai · x · 2026-10-24
芝加哥大学论文《Can LLMs Anticipate Their Cruxes?》研究了如何提取 LLM 决策背后的「cruxes」——即模型多次回答中真正导致结论分歧的子问题。
核心发现
- crux 是模型 rollout 分布的属性,而非单条回答的属性;直接问模型或只读一条回答,都难以捕捉真实的分歧点。
- 实验让模型多次预测 59 场 March Madness 比赛和 15 个 Metaculus 事件:模型事前预测的 cruxes 与真实 cruxes 的聚类重合率仅 13.4%,低于随机打乱的 39.2%;单条回答也只覆盖 28.6%(基线 37.8%)。
- 团队用 reranker 做多回答配对比较,算力比用 LLM judge 便宜约 86 倍,使「多次采样找分歧」变得可行。
结论:高风险决策场景下,应大量采样模型回答并观察其分歧所在,而不是相信模型自己列出的「关键因素」。
所属事件:芝大研究发现 LLM 说不清自身决策依据，需对比抽样提炼关键分歧点(4 条相关)→
「研究」频道最新
- NYU学者称过去30年意识研究可能部分走错了方向 — birchlse · 2026-10-24
- 心理语言学研究：Claude Opus 5 语言风格最偏离人类基线分布 — gleech · 2026-10-24
- Google 研究 180 种 Agent 配置：串行任务多智能体反而降 39%-70% — ombre-ai · 2026-10-24
- 「Loopholing」新方法:让离散扩散模型全程自条件传递连续状态 — NandoDF · 2026-10-24
- 三步用 Review-it 找到最可能接收你论文的期刊与会议 — Faheem_uh · 2026-10-24
- AI 能批量生成科学假说后，为何验证机器推理还要回到物理学传统 — AryHHAry · 2026-10-24