CruxBench: A Benchmark of Information Discovery
Hui Dai, Lina Piao, Nick Merrill, Nadja Flechner, Ezra Karger, Haifeng Xu
NeurIPS 2026
cs.CL, cs.AI
2026-09-27
芝加哥大学团队用Polymarket价格变动给LLM所提子问题打VOI分。293道预测题上最强模型0.016 bit，仅刚过随机时机0.007，距事后上限0.129差一个数量级。
现有LLM评测几乎都在问「答案对不对」：固定题、固定标签，对上就加分。真实决策里更早的一步是拆题，找出哪些子问题一旦兑现，会真正推动对最终结果的信念更新。论文把这类子问题叫做crux（关键节点）。
预测类benchmark已经用未来事件抗污染，但打分对象仍是最终预测准不准。CruxBench把评价目标从答题改成提问：模型要提出近期可兑现、且兑现后能推动预测市场价格的子问题。芝加哥大学与Forecasting Research Institute针对的是发现信息的能力。
数据来自Polymarket。从2026年3月25日的全站快照筛出已兑现的二元市场，去掉体育、加密、天气等难拆的品类，再按流动性、时长、事件去重，最后留下293道终极问题，每题随机抽一个30天窗口。
流程分三步。
基线有两条。随机时机取窗口内每个小时的平均KL，衡量随便挑个时间市场也会动多少。事后先知取窗口内最大单小时KL，是回顾上限，不是可达成目标。
主指标用KL，不用熵减ΔH：KL对每次更新都非负，小更新时方差更低。附录蒙特卡洛121个格子里，78个格子KL的方差更小。
八个模型、六个家族，n=293。
| 模型 | VOI（bit） | 可兑现率 |
| Claude-Opus-4.6 | 0.016 | 95.2% |
| Gemini-3.1-Pro-Preview | 0.014 | 93.5% |
| GPT-5.4 | 0.013 | 91.5% |
| DeepSeek-V3.1 | 0.012 | 89.4% |
| Qwen3-235B-A22B | 0.012 | 92.5% |
| Llama-3.3-70B | 0.010 | 86.0% |
| Llama-3.1-8B-Instruct | 0.010 | 92.5% |
| GPT-3.5-Turbo | 0.009 | 93.9% |
| 随机时机 | 0.007 | 无 |
| 事后先知 | 0.129 | 无 |
只有三家前沿模型以未校正的单侧配对t检验超过随机。最强0.016 bit对比事后上限0.129，差距接近一个数量级。可兑现率普遍在86%到95%。分数差在兑现时市场动不动。
VOI与Epoch AI综合能力分相关r=0.90（p<0.01）；与模型自己在窗口起点预测P(U)的−Brier、AUC分别相关r=0.76和r=0.85。
下游有用性用三家外部预测器（Claude-Haiku-4.5、Gemini-3-Flash-Preview、GPT-5-Mini）来测：给已兑现的crux再预测U。Opus-4.6的crux把平均Brier从0.198降到0.176，AUC从0.690升到0.730。VOI与下游−Brier、AUC的相关是r=0.65和r=0.68。八家的crux都能改善Brier，AUC则只有部分模型上升。GPT-5.4的高KL crux常停在公开表态或意图，市场会动，对最终结果的证据更弱。
语义接近推不出操作一致。模型两两之间crux文本的平均余弦相似度约0.75；余弦不低于0.8且双方都写了数值阈值的配对里，84%阈值不同，24%的Yes/No结果不同。卢浮宫珠宝失窃那题是现成对照：问「是否逮捕嫌疑人」吃到10月25日市场从约0.24跳到约0.43，KL=0.135；DeepSeek-V3.1要求「逮捕并起诉」，起诉晚四天，KL只剩0.002。
这是少数同时满足抗污染、开放文本提交、用真实信念更新接地的评测。做研究助理、情报拆解或预测市场agent时，会不会提问更接近工作流的第一刀。
能力排序跟通用模型能力走，绝对水平几乎贴着随机时机。拿现成大模型当自动拆题器还早。它是渐进的评测贡献：把专家原来靠手工估计的VOI，做成可规模化的市场指标。
论文自己列了几条硬伤。群体VOI可估，单条crux的VOI估不出来，因为P(Q)和两条条件概率都缺。市场价格只是信念代理，流动性、同时到达的其他消息、时间窗对不齐都会污染(p, p')。实验是事后回放，不是live，最新模型容易撞上污染顾虑。
读下来还有几处需要打折。64.2%的crux因窗口内事件没发生而判No，这类非事件更新很小，分数更容易被噪声带着走。经验校准里，把crux当U的含噪信号，八模型合计α̂=TPR−FPR只有0.030，95%区间含零；即便三家最强模型α̂也只在0.11到0.12，单模型同样过不了零。下游实验故意把未来兑现结果喂给预测器，测的是这条信息值不值得，不是真实时序里能拿到的增益。知识截止用统一新闻包控制，训练数据差异没法消干净。resolver本身是Claude家族，生成端也有Claude，跨家族兑现误差会不会系统性偏向某一家，正文没有做对照。