Can LLMs Anticipate Their Cruxes?
David Reber, James Reber, Ari Holtzman, Victor Veitch
cs.CL, cs.LG
2026-10-15
比较三种抽法后,59场篮球预测里事先点名与真实分歧只重合13.4%,低于随机打乱的39.2%。单条推理仍盖不全。
理由经常长到没法用。编码代理跳过会让流水线崩溃的输入,等于认定这些输入无关,这个认定却很少被写成一个问题。芝加哥大学把这种子问题定义为 crux:一组独立采样(rollout)在某道是非题上站到两边,而且换边有可能改掉结论。crux 是采样分布的性质。只读一条推理,定义上还看不到它。
事先问「关键卡在哪」,或者只跑一条再抽前提,都很便宜。够不够,只能拿这些采样真正分裂过的问题来对照。
实验是落地前做完的二元预测,这样能看清 rollout 之间的差异从哪来。Metaculus 15 题,每题约 30 条,gpt-5-nano 各自检索,分歧里混着抽样和搜索。大学篮球 59 场,三份球探报告赛前缓存,传统分析、定量、对位各一份,每场 9 条 rollout 只读这些报告。篮球上预测、事先提问、抽取都由 gpt-5.4-nano 完成,提问时读得到全部报告。预报题提问用 gpt-5.4,抽取用 gpt-5.4-mini,提问者看不到检索。
两条 crux 相同,标准是同一份证据会同时证实或证伪。生成式 judge 打不起全配对:一场篮球平均 12978 次,一道预报题约 101 万次。Qwen3-Reranker-8B 一次前向约 270 个 token,正反打分再平均。主评测每边封顶 25 条,约 6.4 个 GPU 小时,估计计算量是本地 judge 的 1/86。
平均链接层次聚类在切分时看不见来源。正文取中间档:解决一道就必然解决另一道。更严要求同一个分歧点,更松只要求结束同一场争论。很多 crux 单独成簇,单元素簇无法共享,原始重合率会被簇大小带着走。置换基线把簇固定、把标签随机重分。差距等于基线减去实际重合。低于基线,就是比碰运气更难进同一簇。
篮球、中间档、每边 25 条:事先询问重合 13.4%±1.6%,基线 39.2%,差 25.9±1.2 个点(p<10^-10)。55/59 场低于自己的基线,3 场打平,1 场更高。中位场次只共享 10.5%,9 场为零。每边从 5 条加到 25 条,重合从 6.3% 升到 13.4%,基线从 13.5% 升到 39.2%,数量补不上。
| 来源 | 等价标准 | 重合率 | 置换基线 | 差距 |
| 篮球 59 场 | 同一问题 | 5.6% | 33.4% | 27.8 |
| 篮球 59 场 | 同一决议 | 13.4% | 39.2% | 25.9 |
| 篮球 59 场 | 同一争议 | 12.8% | 41.2% | 28.4 |
| 预报 15 题 | 同一问题 | 21.9% | 58.0% | 36.1 |
| 预报 15 题 | 同一决议 | 39.9% | 70.9% | 31.0 |
| 预报 15 题 | 同一争议 | 39.7% | 68.9% | 29.3 |
预报差 31.0±4.9 个点,13/15 低于自己的基线。三档宽严都填不上。
单条推理会泄漏,因为有些多次采样 crux 来自包含这条 rollout 的配对。去掉之后,篮球重合 18.8%,基线 25.1%,差 6.4,47/59 场仍低;覆盖率 28.6%,基线 37.8%。同一池子上,事先询问差 26.8 个点。预报单条是 48.5% 对 44.0%,贴着基线,像随机抽了一组。
多次采样对半切,重合是两边对撞的 3.4 倍;事先询问对半切是 4.4 倍。两组内部都齐,彼此错开。爱荷华州立对肯塔基,事先问罚球会不会决定胜负,多次采样抽出的一条是已赛里的 23 次失误。把事先询问写到同样具体(96.6% 给出数值,原来约 32%),重合仍约 17%,差距从当日对照的 24.7 降到 16.4,58/59 场还在。按证据去配也关不上:多次采样的证据陈述 75% 点名赛季数据、排名或战绩,事先询问只有 11%。
rollout 没有一边倒的 29 场,重合 16.0%±2.5%,基线 40.5%。qwen3:32b、gemma4:31b、gpt-oss:120b 方向相同。三种预测者、三种抽取者、三档等价,27 格全部低于基线。抽取器换成 qwen3:32b,差距大约移动 11 个点。不同 crux 随 rollout 近似线性增加,篮球 9 条时约 28 个簇,还没饱和;其中 5 条覆盖 61%,7 条覆盖 83%。预报在 12 条附近收到约 5 个。
事先点名的问题常常本身成立,问的却不是这条模型会分裂的地方。高风险决策如果只做这一问,审到的是一段自我介绍。单条思维链把篮球上的差距收到 6 个点上下,够抽查一条推理,不够说关键点已经列全。
crux 按定义就要看分布。五到七条 rollout 已经盖住大部分不同 crux,等价判断可以交给 reranker。这个「低于随机打乱」的方向,在两个来源、三档等价和四类模型上都在。
每条 crux 等权。会把概率大幅搬动的前提,和几乎不动结论的前提,分数里一样重。按信息价值加权之后差距还在不在,没有测。
预报题的提问者没看到检索,一部分错位是信息差。篮球把报告锁死,提问者也读过全部报告,差距仍在,信息差解释不了全部。预报只有 15 题,再抽一次事先 crux,差距大约动 10 个点,方向稳,幅度不稳。
等价没有人标过。三档指令按和 gpt-5.4-nano 当 judge 的一致程度,从 10 条候选里挑出,只在篮球 2000 对上测过。判成相同的 34 对里,只有 3 对跨了两个集合,跨集合准确率测不出。reranker 把 judge 认为不同的对分开的比例约 95% 到 98%,相同对的召回约 0.68 到 0.74。
请求全是二元预测。报告、计划和改代码没有一个两边都能对着吵的概率,这套对比能不能搬过去还没有结果。事后 crux 交到人手里会不会让预测更好,也没有用户实验。篮球能进实验,是因为证据可以固定。