用户实测:Claude Opus 5.5 不会正确处理多重检验校正

Sauers_ · x · 2026-10-19

Sauers 指出 Claude Opus 5.5 在默认 agent 模式下不懂何时以及如何做多重检验(multiple testing)校正:比如 10 个独立信息源都测出 p = 0.1,模型会认为应该收紧显著性阈值。但统计上,如果无效应,10 次检验的 p 值应均匀分布,10 个都恰好是 0.1 本身就不寻常——正确做法恰恰是反向操作,做元分析(meta-analytical)检验,合并后 p 值会远低于 0.1。这是一个展示前沿模型统计推理盲区的具体案例,对用 agent 做数据分析的人有警示价值。