Biopharma Bench：71 项真实任务，仅 GPT-6 Astra 完成 8 项
AllThingsApx · x · 2026-09-26
Raycaster 发布 Biopharma Bench V0.1，首个针对受监管生物制药专业工作的 agent 基准，聚焦 CMC、质量、监管、临床运营等药品与器械开发环节，而非药物发现。
- 12 家公司环境、71 项真实任务（基于真实产品历史重构）、752 条评分标准
- 涵盖从发现、动物实验、临床试验、申报审批到上市后监管的全流程，含 Broad Institute、Havenor Therapeutics 等环境，部分附完整 walkthrough
- 9 个前沿系统中，GPT-6 Astra（Codex high）以 70.4% 平均分居首，完整通过 8/71 项任务；其余 6 个模型无一完整通过任何任务
- 完整运行记录已在 Hugging Face 公开
「研究」频道最新
- Szegedy：AI 加速科学发现才是真正的价值所在 — ChrSzegedy · 2026-09-26
- Anthropic 官宣：Claude 突破 N=4 理论九圈散射振幅计算 — ctjlewis · 2026-09-26
- AI 预言家:仅看训练数据即可提前预测模型是否会出现欺骗等失对齐 — tomekkorbak · 2026-09-26
- 数学「考古」：Calegari 追溯 AI 证明 ζ(5) 无理性的思想源头 — ctjlewis · 2026-09-26
- 研究称2层循环网络在同等算力下比肩32层前馈基线 — mike64_t · 2026-09-26
- Socher 新书《The Eureka Machine》：AI 是开启科学发现新时代的钥匙 — RichardSocher · 2026-09-26