MCP 工具 98% 击败 Text2Cypher 与裸 GPT-4o,生物医学问答实测
JeremyCMorgan · x · 2026-11-05
BiomedQA 基准测试了三种 AI agent 访问领域数据的方式:40 道药理学问题,跨三个独立构建并合并存储的生物医学知识图谱(PubMed KG、ClinicalTrials KG、药物相互作用 KG)。
- 预写 Cypher 的 MCP 工具:39/40(98%),平均延迟 920ms
- Text2Cypher:34/40
- 裸 GPT-4o:30/40
作者承认对比并非完全受控,但结论明确:当问题模式可预测时,约束式工具(constrained tools)是更强的选择。基准与真值集已在 GitHub 开源。
「编程与Agent」频道最新
- 微软研究院 HCU：程序化+语义+视觉三通道统一通用 Agent 界面 — MicrosoftResearch · 2026-11-05
- NOFire 删掉多数 Agent:单循环诊断多 50%、成本低 60% — tianyin_xu · 2026-11-05
- 微软发力端侧编码 AI:128GB 统一内存 RTX Spark PC 免 token 费跑编码模型 — lee_stott · 2026-11-05
- 逆向指纹浏览器接入 agent，作者重做自动化养号方案 — yangyi · 2026-11-05
- 开发者让 AI Agent 团队盯 Reddit 蹭流量，任务板全自动化 — pramodk73 · 2026-11-05
- GitLab CPMO：代码过剩，信任才是 AI 编码的瓶颈 — TechNadu · 2026-11-05