52道真实验室孪生题,最强模型设计实验平均只得45分

TwinLab-Bench: Evaluating AI Scientists in Agentic Twins of Real Labs

Yang Wan, Linchao Zhu

cs.AI, cs.CL, cs.LG

2026-11-19

用52道真实实验室的记录做成孪生环境,考模型会不会自己设计实验。最强的Claude Fable 5.2平均只有45.0分,零预算时一题都过不了。

这篇在解决什么

科学 agent 基准大多停在两级:给定流程跑不跑得对,以及在划好的候选里选下一次测量。自己设计实验是下一级,读数还得对上真实实验室。真实验室贵、慢。模拟器凭写死的规则出数,回放只能在做过的条件里挑。拿 DeepSeek-flash 回放真实请求,只看任务描述时,41% 的读数偏离记录,31% 实质不一致;把原始材料交给它,这两项仍有 14% 和 8%。

方法

TwinLab-Bench 来自浙江大学,52 道题,物理、生命、工程各 20、20、12 道,动作类型超过 100 种。题目从约 375 个来源改出,49 道建在真实记录上,3 道是有依据的综合题。有的题要核对奇数 Shapiro steps 是否缺失,面对的是 2149 个原始文件。

记录切在一个时间点。切点前的数据、流程和阶段性结论交给 actor agent;之后的结论是 hidden truth,只给 TwinLab agent 和 judge。actor 用自然语言组实验,新读数只能向环境申请并扣预算。预算按实验室天数或孔数计,多数题是专家路线用量的 1 到 3 倍。网页检索会屏蔽来源站点,以及基准和题目的名称。

TwinLab agent 扮演该实验室。它在原始材料里找依据,有可比实测就返回记录值,否则运行 calculator。calculator 是用该实验室数据写成的确定性程序,可以重采样、拟合物理模型或填写仪器模板,再按仪器原格式输出。记录和文献都约束不到的量标成 simulation limit,不收费,也不算实验结果。外推只限记录附近,用掉的样品会留在会话里。

难点来自记录本身:稀缺材料不补充,看似决定性的测量可能另有原因,也有题在预算内无法裁决。rubric 事先冻结,分数换算到 0 到 100。结论项看答案,验证项看证据是否这次测到。任一核心项没满分,整题记 0,满分还要再独立核两次。专家路线回放平均 97.8 分。

结果

13 个模型做 actor,共 17 种配置。GPT 系在 Codex 中运行,其余在 Claude Code 中运行。环境和 judge 固定用 DeepSeek-flash。以 DeepSeek-flash 为 actor 时,52 题的环境加打分约 55 美元。Fable 5.2 自己的 actor 花费是 424 美元,Opus 5.5 是 141 美元。

设置指标结果
Claude Fable 5.252 题平均分45.0
Claude Opus 5.552 题平均分40.2
GPT-6.1-sol52 题平均分31.7
得分最低的配置52 题平均分5.4
专家路线回放平均分97.8
零预算的 33 道题Opus 5.5 与 DeepSeek-flash 通过数0
只看任务描述(12 题试点)读数偏离记录41%
TwinLab agent(同一试点)偏离 / 实质不一致2% / 4%

分数随 actor 花费的对数上升。21 道对错报告都有的题里,19 道上每份正确报告都更高,差距平均是满分的 0.46。这 33 道题在正常预算下,至少有一个模型通过 28 道。

831 次运行、7808 条请求中,76% 的读数来自原记录或该实验室数据上的 calculator。专家路线 189 个决定性实验里,78% 的条件记录中已有。藏起记录再重建计算器,插值中位误差 0.74%,外推 2.47%。换一种同样说得通的外推,12 组里通过判定只变 2 组,分数变化的中位数是 0。成功运行里,超过三分之一的请求不在专家路线上。

闭卷、关掉工具时,Opus 5.5 没有一题完整回忆出来源结论,不看数据就推出答案的只有 2 题,Fable 5.2 只回忆起 1 题。交接文字不动、只改实验室真实结局,10 个可裁决状态里 8 个结论跟随新状态。

Opus 5.5 在需要实验的题上 16 次得 0 分,12 次坏在决策,其中 7 次是没做区分实验就接受机制。牡蛎糖读数大约低 30%,它用水检排除了移液器,没查那个大约只交出 70% 样品的 1 µL 转移。计划写全的决策,运行拿到满分的 87%;没写到的仍有 62%。写全仍丢分的 11 条里,9 条照计划执行,分丢在读结果或写报告。21 次失败运行里,只有 8 次花掉至少九成预算,预算翻倍只挽回 2 次。

为什么重要

专家路线能到 97.8,题是可解的。45 分低,出在实验决策上。决定性数据不在交接材料里时,预算降到 0 就一题不过,分数是本轮实验换来的。只给计划打分会看走眼:写全的决策仍会栽在读数和报告上,没写进计划的也能做对大半。失败运行多数没把预算花完,再加倍也很少翻盘。过核心项,得去做能把一个机制和其他解释分开的测量。

局限与存疑

外推换不得。放射碳预处理的正确结论取决于外推残渣的大小,有模型因此改了低产率样品的建议。敏感性只测了 6 道题,留出真实条件只测了 3 道。7808 条回复里,1 条没被询问就说出隐藏机制,judge 没标,该次记 0 分;另 1 条描述了计算器没建模的现象。4 道题上的 9 次钻空子尝试都被挡住,模型指出的 13 处缺陷也不改变评分。

Judge 仍是语言模型。换成 Opus 5.5,20 次里 19 次通过判定一致,核心项撞上措辞边界仍会从满分掉到 0。多数模型只跑一轮,DeepSeek-flash 重复三次的标准差有 3.3 分。建题用了 Claude Code 和 Opus 5.5,被测名单里又有 Opus 5.5,是否偏向这一家族,没有单独验证。动手操作仪器不在考察范围内。

术语

原文与代码

相关论文

全部论文解读