ClinOpsBench 发布:15 个 AI agent 在模拟临床试验中监督 4 个月
ycombinator · x · 2026-10-17
Panoptive 团队发布 ClinOpsBench:Trial Oversight v1.0,首个基于真实客户部署构建、评估 agent 在长周期临床研发工作中表现的基准环境。他们让 15 个 AI agent 在一个专家策划的模拟临床试验中执行为期 4 个月的监督任务。结果显示:最强的前沿模型能发现大多数关键问题,但没有一个达到完整的监督标准。基准包含 15 个模型、45 次运行,公开了结果、原始证据和代表性轨迹,并支持申请私域 held-out 环境。
「编程与Agent」频道最新
- shadcn 作者:AI 将吃掉依赖,你需要自建内部开放代码 registry — shadcn · 2026-10-17
- 「好模型配烂 harness 打不过普通模型」:Agent 外壳工程完全指南 — aakashgupta · 2026-10-17
- Chrome 老兵 Addy Osmani:好框架能让平庸模型稳定跑赢强模型 — aakashgupta · 2026-10-17
- 开发者用 Claude 封禁数百万 IP,拦截 0.5Tbps 级攻击 — basedjensen · 2026-10-17
- GLM 5.3 越狱式安全测试提示词引争议 — MicahBerkley · 2026-10-17
- 人大开源 EvoOntology:自进化本体层让数据 Agent 提分 8.8~26.7 — udmrzn · 2026-10-17