RespSurvBench 发布:21 个模型测呼吸道病毒监测,最高通过率仅 25.5%

kenbwork · x · 2026-11-06

新基准 RespSurvBench 发布:110 项评测覆盖诊断检测、病原发现、病毒演化与传播、人群监测,用于检验 AI 在呼吸道疫情监测中的能力。跨 21 个模型 + 34 种 model-harness 配置,最高通过率仅 25.5%(Claude Opus 5.5 + Pi harness),拒答和执行错误都计为失败。

配图热力图按证据来源、决策类型、失败类别拆分拒答率:Claude Fable 5.1 总体拒答率高达 72%,Anthropic 系内部拒答行为差异显著,而 Gemini/OpenAI/xAI 家族内部较一致;非豁免模型对医疗记录类任务较配合,但对更偏实验/真实世界数据的任务拒答更多。

初步分析显示模型常犯熟悉的科学错误:把缺失观测当阴性结果、错配记录、把测量伪影当真实生物信号。作者指出:AI 要成为疫情检测的核心基础设施,前提是模型在这些任务上愿意作答。排行榜在 benchmarks.bio 公开。

所属事件:RespSurvBench 发布:21 个模型最高通过率仅 25.5%(4 条相关)→

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →