Predictive Credit: Measuring What Scientific Explanations Add to Experimental Forecasts
Jingjie Ning, Xueqi Li, Yibo Kong, Dongting Li
cs.AI
2026-09-29
配对前瞻预测测 336 个状态:科研 agent 的解释让预测漂移降 64.5%,但对实验结果的预测准确率增益未获证实。
AI Scientist 一类自动化科研系统提出实验方案时,会附带一段「为什么这个改动有效」的机理解释。benchmark 只给最终结果打分,解释本身免检:它可能是好看的包装,也可能真含对实验的洞察。这篇把问题变成可测的:把解释加进预测上下文,看对实验结果的预测会不会变准。思路接上 simulatability(用「解释能否帮人预测模型行为」来评价解释)和 LLM 科学预测两条线,预测对象换成外部实验的数值变化,全部预测在结果揭晓前冻结。
配对预测。每个状态由公开信息(父模型验证指标、训练摘要)加计划干预构成,固定预测器 DeepSeek V4 Pro 在三种上下文下各独立预测两次:
RD - RM 衡量相对描述的增益,RS - RM 衡量相对错配解释的优势。donor 是关键对照:随便借一段解释效果若相同,增益就与「解释对上当前实验」无关。两次独立调用把重复漂移(两次预测之差)与真实误差分开,防止把输出更稳当成预测更准。
三个前瞻研究共 336 个状态:受控 ML 环境 120 个、Tox21 分子活性 72 个、OpenML 表格任务 144 个(LightGBM 配六种干预之一)。预测目标是留出集上子代减父代的效应。五项检查分别盯承诺(六槽预测卡)、内容是否送达 prompt、对简单先验的增益、donor 对齐、已知信号敏感性。3,708 个前瞻单元全部在看到结果前冻结。
三个冻结判据全部未通过或不确定:
| 判据 | 结果 |
| v5 冻结决策 | 不确定 |
| Tox21 ROC AUC 区间得分伤害检验 | 未达门槛:M-D = +.0026,95% CI [-.0104, +.0174];门槛要求 ≥ .005 且下界为正 |
| OpenML 联合规则 | 未通过:完整卡 20/144,冻结门槛 .50 |
点准确率全线未见确认增益。Tox21 点 MAE:描述 .02056、matched .02041、donor .02023,基本持平;Flash 复测里 matched 反而从 .01823 升到 .02020。方向准确率几乎被符号先验解释:v5 的 111 个显式方向里 109 个预测「变好」,58.6% 只比「永远预测变好」的 57.7% 高不到一个百分点;OpenML 是 63.19% 对 62.5%。v5 里唯一区间全正的对比是 log-loss 点误差的 donor 对 matched(+.0508),但同设置区间得分从 1.41 恶化到 3.50,冻结判据仍为不确定。
解释确实改变了一件事:重复漂移。
| 设置 | 指标 | 描述 | matched | donor |
| Tox21 Pro | 重复漂移 | .01004 | .00357(-64.5%) | .00411(-59.1%) |
| Tox21 Flash 复测 | 重复漂移 | .00704 | .00278(-60.6%) | .00288(-59.2%) |
| 正控 40 状态 | 点 MAE | 6.391 | 3.795(真机理卡) | 8.151(假机理卡) |
给一段结构化解释,两次预测会靠得更近,但不会更接近真值。正控证明测量有灵敏度:研究者手写真机理卡把点 MAE 降 2.60 个百分点(CI [2.314, 2.880]),假机理卡升到 8.151;精确信号校准 144/144 全胜,Spearman .99996。预测器用得了强信号,agent 自产的这类解释在测试分辨率下不带。
两个附带发现:OpenML 全卡让名义 80% 的区间加宽 21%,覆盖率从 51.4% 掉到 49.3%;六槽抽取只产出 66/144 张非空卡、78 张空壳,直接把原文送进 prompt 的 Flash 复测交齐全部 144 条,仍测不出 matched 增益。三项前瞻研究合计约 18.5 美元。
给 research-agent benchmark 补上缺失的一维:结果之外,理由值多少分。协议可直接搬用,冻结配对预测加 donor 对照,三项前瞻研究合计不到 20 美元。阴性结论同样有用:当前自动化科研系统产出的解释,在预测实验结果这件事上还不携带可测信息;想用 LLM 预测结果来排序实验提案,先证明预测增益,再谈成本效用规则。这是测量加阴性结果的工作,没有新模型。
作者自述对齐检验受 donor 分辨率限制:Tox21 和 OpenML 的 donor 只是同任务内换种子,中位种子间效应差 .01362 ROC AUC,36 对里 27 对同号,matched 与 donor 本该接近;OpenML 72 对 donor 里只有 13 对两侧都有内容、1 对两侧都有数值断言,对齐对比严重欠功率。预测器只有 DeepSeek V4 一族(前瞻用 Pro、复测用 Flash)。组件交叉里 numbers-only 的结果是作者承认的探索性分析,未做多重校正。读下来还有两点:效应量贴着噪声底,点 MAE 约 .02 而种子间天然差异就有 .014;正控是研究者手写的,证明测量有灵敏度,救不了 agent 解释。事后分析都基于已知结果,只是方案各自冻结。