2026-09-17
Paper2Agent 把论文打成 MCP：100 篇计算生物学 74 篇自动跑通，AlphaGenome 查询准确率 98.7%。
计算论文的交付物通常是 PDF 加一个 GitHub 仓库。读者要把方法用到自己的数据上，得自己找仓库、装依赖、读 API、对着教程改路径。AlphaGenome 这种基因组基础模型尤其明显：要建 client、构造 variant 对象、选输出模态，生物学用户卡在环境上的时间经常比理解方法还长。
Binder、CodeOcean 解决的是环境能起来，Paper2Code 解决的是从论文生成代码。它们都还要求人去读代码、改代码。斯坦福 Miao、Pritchard、Zou 等人把论文变成能对话、能调工具的 Agent，当虚拟通讯作者用。
Paper2Agent 把一篇论文打成一个 MCP（Model Context Protocol）服务器，再接到 Claude Code 这类聊天 Agent 上。MCP 是给大模型接外部工具和资源的标准协议。服务器里有三块：
转换本身也是多 Agent 流水线，底层用 Claude Code 的 agent SDK。主编排器调度五个专职子 Agent：环境配置、教程扫描、教程执行、工具抽取实现、测试校验改进。流程是定位仓库、隔离环境、找到教程并跑出金标准输出、把可泛化步骤抽成单函数 MCP 工具、再用教程数据做测试。测试过关的标准很硬：该有的文件得生成，数值误差不超过 3%，图用感知哈希比对且 Hamming 距离小于 20。每个函数最多修 6 轮，反复失败就从 MCP 里拿掉，避免模型现场写错代码却跑出看似合理的结果。MCP 可以挂到 Hugging Face Spaces 上远程跑，本地不用装那一堆依赖。
所有案例默认底座是 Claude Sonnet 4。多个 MCP 可以接到同一个聊天 Agent 上，不同论文的工具能一起用。
AlphaGenome 抽出 22 个工具，全部过测，一台 MacBook Air 上大约 45 分钟、14 美元。对照是 Claude 直接读仓库写代码（Claude + Repo），以及斯坦福的生物医学通用 Agent Biomni。两位人类专家按预先量规打分，评分者一致性 96.7%。
| 设置 | Paper2Agent | Claude + Repo | Biomni |
| 15 条教程查询 | 98.7±1.3% | 82.7±3.4% | 37.3±4.0% |
| 15 条新查询 | 100.0±0.0% | 78.7±4.4% | 56.0±3.4% |
| 30 条开放式科研查询 | 82.7±2.4% | 56.7±2.3% | 72.2±2.2% |
中位耗时相对 Claude + Repo、Biomni，教程查询分别快 1.9× 和 3.1×，新查询快 2.9× 和 3.8×。把 Claude + Repo 升到 Claude Opus 4.6，差距还在。
Scanpy 抽出 7 个工具，约 45 分钟、13 美元。四个不在官方教程里的公开单细胞数据集上，过滤后的细胞/基因数和每簇 marker 跟人类研究者对得上。
规模评测抽了 100 篇 bioRxiv 生物信息学栏目的计算生物学论文，按时间往回取、不挑文档质量。74 篇端到端成功，提出 599 个工具、593 个过测。失败的 26 篇里，缺可执行代码 34%、缺数据或模型文件 31%、环境依赖挂掉 23%、脚本无法泛化 12%。成功一篇平均 14.99 美元、2.4 小时；失败的也要 9.03 美元、1.7 小时，多数在前期就停。300 道教程题上准确率 91.2±1.6%，Claude + Repo 用 Sonnet 4 是 80.3±2.3%，换成 Sonnet 4.6 是 86.3±1.1%。单次查询 0.20 美元、1.6 分钟，对照是 0.38 美元、4.3 分钟。
另外 10 篇非生物学计算论文（含 SAM2、TabPFN、SAELens、因果推断、博弈论、MCMC）共 42 道执行题，准确率 98.1±0.8%。26 篇偏数据和发现、抽不出可执行工具的论文，只靠结构化 resources 层，100 道综合题 89.0±3.1%，Claude 浏览器阅读是 82.0±3.8%，便宜 34 倍、快 15 倍。把论文和问题随机错配之后，超范围问题拒绝率 100%。
消融把设计拆开看。单 Agent、20 万 token 上下文，三次都没做出合法 MCP。拿掉测试校验，教程/新查询准确率掉到 69.3±4.5% 和 84.0±2.7%。把 MCP 工具换成 Markdown skill 文件，30 题准确率 73.3±2.6%，MCP 是 99.3±0.7%。换 OpenCode 后端，教程 98.7±1.3%、新查询 97.3±1.6%，不绑死 Claude Code。
发现向的案例把三个 Agent 接到一起：AlphaGenome、MPRA 耦合的单细胞 CRISPRi、CD4+ T 细胞 Perturb-seq，给银屑病位点 rs887314 排因果基因。AlphaGenome 把 GPR137 排第一（RNA-seq quantile score = 0.997）。人从 Agent 提出的 10 个验证策略里选了「CRE 扰动签名对基因敲低签名」相关。刺激 8 小时和 48 小时条件下 Spearman ρ 分别是 0.613 和 0.630（FDR < 0.05），静息不显著（ρ = 0.29，P = 0.21）。这套跨筛、跨模态的签名相关，源论文里没有写过。
对用方法的人，这是把代码可用性往前推了一档：不必会 Python，也能用自然语言调用论文方法。对发方法论文的人，仓库写得清不清楚会直接决定能不能被 agent 化。作者把「转得过去」当成一种可操作的可重复性度量，并设想期刊将来加 agent availability 栏目，和 data/code availability 并列。
它是工程封装，不是新的科学方法。价值在工具抽取和校验锁死，不在模型本身。带教程的方法仓库现在就能转。
开放式科研查询上 Biomni 已经比直接读仓库强（72.2% 对 56.7%），Paper2Agent 的 82.7% 仍最高，但已经不像教程题那样接近满分。工具调用对了，不等于生物学结论对。LDL 胆固醇位点那个例子里，Agent 主推 SORT1，原文强调 CELSR2 和 PSRC1，三边在肝脏都有很强的 eQTL，论文自己也说复杂位点上定因果基因本来就难。
100 篇里仍有四分之一转不成。缺代码、缺权重、环境装不上，这些失败在真实仓库里很常见。流水线默认拿教程当金标准；虽然 POP-TOOLS 去掉教程后还能从 README 和 CLI 合成脚本，大多数成功案例仍是教程驱动的。
银屑病那个结果是人在环里选的策略，不是 Agent 自己拍板，也没有新做湿实验，只是把已有扰动筛的数据重新拼在一起。开放式任务按是否对齐单一参考答案打分，论文写明这测的是执行忠实度，不是分析正确性。安全、知识产权、归属都还停在原则：沙箱跑、保留源码链接、按原仓库许可证走。MCP 要跟着上游代码一起维护，他们设想加一个维护 Agent 做回归，目前不是评测过的成品。
单篇论文也不一定是正确的 agent 化粒度，很多方法散在一串论文里。底座几乎全是 Claude 家族，OpenCode 消融只在 AlphaGenome 上做过。