45分钟14美元,斯坦福把论文封装成MCP Agent

2026-09-24

斯坦福用Paper2Agent把论文和代码封成MCP Agent。AlphaGenome案例45分钟、14美元、22个工具全过测,教程题准确率98.7%;100篇计算生物学论文成功转化74篇。

这篇在解决什么

计算论文发表之后,读者要自己找仓库、装环境、读 API、把示例改成手头的数据。AlphaGenome 这种基因组基础模型把成本写得很具体:建 client、构造 variant 对象、选输出模态、搞懂组织本体。仓库维护得再好,生物学家仍要过一遍工程门槛。

Binder、CodeOcean、Papers with Code 和可执行论文,做的是让代码能跑。斯坦福 Miao、Zou 等人的 Paper2Agent 把论文连同代码、数据、工作流封成能对话的 Agent,当虚拟通讯作者。用户用自然语言提问,Agent 调用已经对照原仓库锁死的工具。

方法

载体是 MCP(Model Context Protocol),给 LLM 一个统一接口去调外部工具和数据。一篇论文对应一个 MCP 服务器,里面三类东西:

实现落在 Claude Code 的 Agent SDK 上,底层模型一律 Claude Sonnet 4。编排器带一组分工人:环境管理器、教程扫描器、教程执行器、工具抽取器、测试修补器。流水线六步:定位并克隆仓库、搭隔离环境、找出教程、端到端跑教程当金标准、把教程抽成可复用函数并对照教程输出做测试、组装 MCP 服务器。

测试规则写死了。该有的文件必须生成;浮点结果误差在 3% 以内;图用感知哈希比对,Hamming 距离小于 20。一个函数最多修六轮,过不了就从最终 MCP 里拿掉。服务器可以挂到 Hugging Face Spaces,下游接任意兼容的聊天 Agent。

这套设计针对的是代码幻觉:工具对照原仓库结果锁死,不让模型现场编实现。

结果

AlphaGenome 案例抽出 22 个 MCP 工具,全部过测,个人笔记本上约 45 分钟、14 美元。15 道教程题、5 次独立运行,准确率 98.7±1.3%;15 道新题 100.0±0.0%。对照是 Claude Code 直接对着仓库写代码(教程 82.7±3.4%、新题 78.7±4.4%)和生物医学 Agent Biomni(37.3±4.0%、56.0±3.4%)。30 道需要组合工具并给出生物学结论的开放题,Paper2Agent 82.7±2.4%,Claude+Repo 56.7±2.3%,Biomni 72.2±2.2%。教程题中位延迟相对后两者分别快 1.9 倍和 3.1 倍。两名独立专家按预先量规打分,一致率 96.7%。

设置Paper2AgentClaude+RepoBiomni
AlphaGenome 教程题(15)98.7±1.3%82.7±3.4%37.3±4.0%
AlphaGenome 新题(15)100.0±0.0%78.7±4.4%56.0±3.4%
开放研究题(30)82.7±2.4%56.7±2.3%72.2±2.2%
100 篇计算生物学 300 教程题91.2±1.6%80.3±2.3%(Sonnet 4.6 为 86.3%)未测

Scanpy 的预处理和聚类抽出 7 个工具,约 45 分钟、13 美元。四份不在 Scanpy 仓库里的公开单细胞数据上,质控后的细胞数、基因数和各簇 marker 与人工按教程跑的结果对齐。

放大到 100 篇计算生物学论文(从 bioRxiv 生物信息学栏目按时间往回抽,不筛仓库质量):74 篇走完抽取、执行和自动验证,提出 599 个工具、593 个过测。单次查询 0.20 美元、1.6 分钟,对照 0.38 美元、4.3 分钟。另 10 篇非生物学计算论文(因果推断、计算机视觉、博弈论、天体物理 MCMC 等)42 道执行题 98.1±0.8%;26 篇偏数据和发现的论文,资源层在 100 道综合题上 89.0±3.1%,比 Claude 直接浏览论文页便宜 34 倍、快 15 倍。把论文和问题打乱配对的越界测试里,拒绝率 100%。

三个 Agent 协作看银屑病位点 rs887314:AlphaGenome 在 CD4+ T 细胞里把 GPR137 排第一(RNA-seq quantile 0.997),再交叉 MPRA-scCRISPRi 和 Perturb-seq。刺激条件下 GPR137 敲低签名与 CRE 扰动签名的 Spearman 相关为 0.613(Stim8hr,P=3.79×10⁻³)和 0.630(Stim48hr,P=4.71×10⁻³,FDR<0.05),BAD 和其他三个候选不显著。人从 Agent 提出的十种验证方案里选了签名相关这条路,不是全自动发现。

为什么重要

对要复用别人方法的人,这是把「读 README、装环境」换成「问一句」。工具锁在原仓库结果上,比让通用 Agent 对着仓库现写代码稳。MCP 模块化,多个论文 Agent 可以挂进同一个聊天窗口拼方法。

这是工程框架,不是新模型。它吃公开代码和教程,失败模式就是仓库本身不可复现。作者把「能不能被 agentify」当成一种可复现性度量,这个判断站得住。100 篇里失败 26 篇,现在还做不到任意论文一键变 Agent。

局限与存疑

作者列了失败原因:代码不全、缺数据或缺模型文件、环境装不上、脚本不可泛化。开放式推理仍要人在环里选方向、判证据。开放题可能有多种说得通的答案,对照单一标准答案测的是执行忠实度,不是科学正确性。

评测主模型是 Sonnet 4,Paper2Agent 和基线共用同一套模型,优势来自 MCP 封装。作者补过一刀:Claude+Repo 升到 Opus 4.6 和 Sonnet 4.6 仍落后。主结果没有换非 Anthropic 脚手架(附录有 OpenCode 消融)。LDL 位点 chr1:109274968:G>T 上,Agent 推 SORT1,原文推 CELSR2 和 PSRC1,三边 quantile 都在 0.999 以上,GTEx 肝脏 eQTL 也都显著,作者承认这是复杂位点的固有困难,不能当成 Agent 纠错。安全、知识产权、署名,以及上游仓库改了之后谁维护 Agent,讨论里点到了,没有方案。

术语

原文与代码

社区讨论

全部论文解读