TwinLab-Bench: Evaluating AI Scientists in Agentic Twins of Real Labs
Yang Wan, Linchao Zhu
cs.AI, cs.CL, cs.LG
2026-11-19
用52道真实实验室的记录做成孪生环境,考模型会不会自己设计实验。最强的Claude Fable 5.2平均只有45.0分,零预算时一题都过不了。
科学 agent 基准大多停在两级:给定流程跑不跑得对,以及在划好的候选里选下一次测量。自己设计实验是下一级,读数还得对上真实实验室。真实验室贵、慢。模拟器凭写死的规则出数,回放只能在做过的条件里挑。拿 DeepSeek-flash 回放真实请求,只看任务描述时,41% 的读数偏离记录,31% 实质不一致;把原始材料交给它,这两项仍有 14% 和 8%。
TwinLab-Bench 来自浙江大学,52 道题,物理、生命、工程各 20、20、12 道,动作类型超过 100 种。题目从约 375 个来源改出,49 道建在真实记录上,3 道是有依据的综合题。有的题要核对奇数 Shapiro steps 是否缺失,面对的是 2149 个原始文件。
记录切在一个时间点。切点前的数据、流程和阶段性结论交给 actor agent;之后的结论是 hidden truth,只给 TwinLab agent 和 judge。actor 用自然语言组实验,新读数只能向环境申请并扣预算。预算按实验室天数或孔数计,多数题是专家路线用量的 1 到 3 倍。网页检索会屏蔽来源站点,以及基准和题目的名称。
TwinLab agent 扮演该实验室。它在原始材料里找依据,有可比实测就返回记录值,否则运行 calculator。calculator 是用该实验室数据写成的确定性程序,可以重采样、拟合物理模型或填写仪器模板,再按仪器原格式输出。记录和文献都约束不到的量标成 simulation limit,不收费,也不算实验结果。外推只限记录附近,用掉的样品会留在会话里。
难点来自记录本身:稀缺材料不补充,看似决定性的测量可能另有原因,也有题在预算内无法裁决。rubric 事先冻结,分数换算到 0 到 100。结论项看答案,验证项看证据是否这次测到。任一核心项没满分,整题记 0,满分还要再独立核两次。专家路线回放平均 97.8 分。
13 个模型做 actor,共 17 种配置。GPT 系在 Codex 中运行,其余在 Claude Code 中运行。环境和 judge 固定用 DeepSeek-flash。以 DeepSeek-flash 为 actor 时,52 题的环境加打分约 55 美元。Fable 5.2 自己的 actor 花费是 424 美元,Opus 5.5 是 141 美元。
| 设置 | 指标 | 结果 |
| Claude Fable 5.2 | 52 题平均分 | 45.0 |
| Claude Opus 5.5 | 52 题平均分 | 40.2 |
| GPT-6.1-sol | 52 题平均分 | 31.7 |
| 得分最低的配置 | 52 题平均分 | 5.4 |
| 专家路线回放 | 平均分 | 97.8 |
| 零预算的 33 道题 | Opus 5.5 与 DeepSeek-flash 通过数 | 0 |
| 只看任务描述(12 题试点) | 读数偏离记录 | 41% |
| TwinLab agent(同一试点) | 偏离 / 实质不一致 | 2% / 4% |
分数随 actor 花费的对数上升。21 道对错报告都有的题里,19 道上每份正确报告都更高,差距平均是满分的 0.46。这 33 道题在正常预算下,至少有一个模型通过 28 道。
831 次运行、7808 条请求中,76% 的读数来自原记录或该实验室数据上的 calculator。专家路线 189 个决定性实验里,78% 的条件记录中已有。藏起记录再重建计算器,插值中位误差 0.74%,外推 2.47%。换一种同样说得通的外推,12 组里通过判定只变 2 组,分数变化的中位数是 0。成功运行里,超过三分之一的请求不在专家路线上。
闭卷、关掉工具时,Opus 5.5 没有一题完整回忆出来源结论,不看数据就推出答案的只有 2 题,Fable 5.2 只回忆起 1 题。交接文字不动、只改实验室真实结局,10 个可裁决状态里 8 个结论跟随新状态。
Opus 5.5 在需要实验的题上 16 次得 0 分,12 次坏在决策,其中 7 次是没做区分实验就接受机制。牡蛎糖读数大约低 30%,它用水检排除了移液器,没查那个大约只交出 70% 样品的 1 µL 转移。计划写全的决策,运行拿到满分的 87%;没写到的仍有 62%。写全仍丢分的 11 条里,9 条照计划执行,分丢在读结果或写报告。21 次失败运行里,只有 8 次花掉至少九成预算,预算翻倍只挽回 2 次。
专家路线能到 97.8,题是可解的。45 分低,出在实验决策上。决定性数据不在交接材料里时,预算降到 0 就一题不过,分数是本轮实验换来的。只给计划打分会看走眼:写全的决策仍会栽在读数和报告上,没写进计划的也能做对大半。失败运行多数没把预算花完,再加倍也很少翻盘。过核心项,得去做能把一个机制和其他解释分开的测量。
外推换不得。放射碳预处理的正确结论取决于外推残渣的大小,有模型因此改了低产率样品的建议。敏感性只测了 6 道题,留出真实条件只测了 3 道。7808 条回复里,1 条没被询问就说出隐藏机制,judge 没标,该次记 0 分;另 1 条描述了计算器没建模的现象。4 道题上的 9 次钻空子尝试都被挡住,模型指出的 13 处缺陷也不改变评分。
Judge 仍是语言模型。换成 Opus 5.5,20 次里 19 次通过判定一致,核心项撞上措辞边界仍会从满分掉到 0。多数模型只跑一轮,DeepSeek-flash 重复三次的标准差有 3.3 分。建题用了 Claude Code 和 Opus 5.5,被测名单里又有 Opus 5.5,是否偏向这一家族,没有单独验证。动手操作仪器不在考察范围内。