新基准SPU让AI预测4207次湿实验结果，前沿模型集体不及格
量子位 · wechat · 2026-11-14
UniPatAI 牵头推出新基准 Science Prediction Universe（SPU）：不再考刷题，而是给 AI 一组实验条件，让它自主检索与计算 8 小时（配 8 核 CPU、16GiB 内存和一块 H20），提前预测真实湿实验的结果排序，再用实测结果对照打分。基准含 116 个任务、4207 个实验，覆盖化学、材料、生物、医学 32 个子领域，顾问来自斯坦福、康奈尔、哈佛等机构，数据集与代码已开源。
首轮评测覆盖 12 款前沿模型、13 种配置，结果普遍不佳：平均分最高的 Claude Opus 5.5 仅 0.486，且各配置只有 34%52% 的任务超过随机水平阈值。分析发现几个反直觉现象：
- 推理强度不等于成绩：GPT-6 Astra 从中等调到最高推理强度，运行时间与成本中位数增至约 5 倍，得分几乎不变——模型常在运行到中位 26% 时就已给出答案。
- 工具多不如用得准：更高强度配置调用的方法类别中位数从 1 类增至 4 类，得分无显著差异；蒙特卡洛采样大多只给排序加了误差范围，未真正影响结果。
- GPU 利用率低：提供充足 GPU 时真正成功运行 GPU 计算的不到五分之一。
- 各配置每次运行的 API 成本从 0.22 到 65.91 美元，相差 300 倍。
失败案例显示，预测出错多发生在「选择判断依据」阶段：如溶剂排序任务中 Qwen3.8 只看乙烯溶解度，而 Opus 5.5 关注混溶性与催化剂相容性（0.874 vs -0.126）。团队建议部署科研模型前先用 SPU 按具体测量目标做针对性测试。SPU 也是 UniPatAI 系列真实工作评测的一部分，同系列还有 ScienceVision、PaperBenchX、SaaS-Bench、EvoCode-Bench 等。
所属事件:新基准SPU测试AI预测湿实验结果，前沿模型集体不及格(2 条相关)→
「研究」频道最新
- 「这不是苯」：药物发现中化学表示如何误导机器学习 — CatAstro_Piyush · 2026-11-16
- SPU 基准实测：前沿 agent 预测湿实验结果，最高均分仅 0.486 — liangchen5518 · 2026-11-16
- 用期望价值框架把 ML 预测变成可算 ROI 的商业决策 — mdancho84 · 2026-11-16
- 把 ML 预测当概率用：商业数据科学系列第 2 讲 — mdancho84 · 2026-11-16
- mdancho84 开讲《Data Science for Business》：串起商业数据科学的关键框架 — mdancho84 · 2026-11-16
- 自造 9 个软件品牌问 ChatGPT 和 Google：18 次回答零幻觉 — raja314 · 2026-11-16