RespSurvBench 发布:21 个模型测呼吸道疫情监测,最高通过率仅 25.5%
kenbwork · x · 2026-11-06
kenbwork 团队发布 RespSurvBench:110 项评测,覆盖诊断检测、病原发现、病毒演化与传播、人群监测四大任务,检验 AI 能否成为呼吸道疫情监测的核心基础设施。
- 共测 21 个模型、34 种 model-harness 配置,最高通过率仅 25.5%(Claude Opus 5.5 + Pi harness),拒答与执行错误均计为失败。
- 拒答行为热图显示:Anthropic 系模型拒答率显著高于 Gemini/OpenAI/xAI 系,且家族内部波动大;Claude Fable 5.1 整体拒答率达 72%,尤其在实验性、真实世界数据任务上模型普遍更倾向拒答。
- 常见失败模式:把缺失观测当阴性结果、记录匹配错位、把测量伪影误认为真实生物信号。
- 作者指出,模型对医疗记录类任务响应良好,但对偏实验/真实世界数据的任务拒答更多——这直接影响公共卫生人员能否实际用模型追踪疫情。
配套 leaderboard 在 benchmarks.bio 上可交互查询,评分按 model+harness 组合报告。
所属事件:RespSurvBench 发布:21 个模型最高通过率仅 25.5%(4 条相关)→
「模型」频道最新
- 特斯拉 FSD V15 夜穿闹市:AI 实时重建 3D 街景招牌字全是糊的 — lxfater · 2026-11-23
- 马斯克罕见披露:特斯拉自去年起拥有像素级世界模型用于合成数据 — sainingxie · 2026-11-23
- 开发者驳「蒸馏万能论」:实验室靠海量采购数据,蒸馏只是安慰剂 — gnukeith · 2026-11-23
- 印度 Sarvam 发布 105B 新 checkpoint:基准 42.6 升至 73.9,杀入 Flash-Lite 价格带 — itsOmSarraf_ · 2026-11-22
- 开发者用Google模型研究无损压缩:压缩≈智能有实质进展 — gnukeith · 2026-11-22
- 用户误用 Astra-6.2 遭骂偷懒,争议焦点竟是没开 goal 模式 — alexisgallagher · 2026-11-22