RespSurvBench 发布:21 个模型测呼吸道疫情监测,最高通过率仅 25.5%

kenbwork · x · 2026-11-06

kenbwork 团队发布 RespSurvBench,一个用于评估 AI 在呼吸道疫情检测与追踪能力的基准,共 110 项评测,覆盖诊断检测、病原发现、病毒演化与传播、人群监测四个方向。

在 21 个模型、34 种模型-harness 配置的组合中,最高通过率仅为 25.5%(Pi 中的 Claude Opus 5.5),且拒绝回答和执行错误都计为失败。初步分析显示模型常犯的科研错误包括:把缺失观测当阴性结果、匹配错记录、把测量伪影误认为真实生物学信号。团队认为 AI 将成为呼吸道疫情监测的核心基础设施。

所属事件:RespSurvBench 发布:21 个模型最高通过率仅 25.5%(4 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →