RespSurvBench 发布:21 个模型测呼吸道病毒监测,最高通过率仅 25.5%
kenbwork · x · 2026-11-06
新基准 RespSurvBench 发布:110 项评测覆盖诊断检测、病原发现、病毒演化与传播、人群监测,用于检验 AI 在呼吸道疫情监测中的能力。跨 21 个模型 + 34 种 model-harness 配置,最高通过率仅 25.5%(Claude Opus 5.5 + Pi harness),拒答和执行错误都计为失败。
配图热力图按证据来源、决策类型、失败类别拆分拒答率:Claude Fable 5.1 总体拒答率高达 72%,Anthropic 系内部拒答行为差异显著,而 Gemini/OpenAI/xAI 家族内部较一致;非豁免模型对医疗记录类任务较配合,但对更偏实验/真实世界数据的任务拒答更多。
初步分析显示模型常犯熟悉的科学错误:把缺失观测当阴性结果、错配记录、把测量伪影当真实生物信号。作者指出:AI 要成为疫情检测的核心基础设施,前提是模型在这些任务上愿意作答。排行榜在 benchmarks.bio 公开。
所属事件:RespSurvBench 发布:21 个模型最高通过率仅 25.5%(4 条相关)→
「模型」频道最新
- 特斯拉 FSD V15 夜穿闹市:AI 实时重建 3D 街景招牌字全是糊的 — lxfater · 2026-11-23
- 马斯克罕见披露:特斯拉自去年起拥有像素级世界模型用于合成数据 — sainingxie · 2026-11-23
- 开发者驳「蒸馏万能论」:实验室靠海量采购数据,蒸馏只是安慰剂 — gnukeith · 2026-11-23
- 印度 Sarvam 发布 105B 新 checkpoint:基准 42.6 升至 73.9,杀入 Flash-Lite 价格带 — itsOmSarraf_ · 2026-11-22
- 开发者用Google模型研究无损压缩:压缩≈智能有实质进展 — gnukeith · 2026-11-22
- 用户误用 Astra-6.2 遭骂偷懒,争议焦点竟是没开 goal 模式 — alexisgallagher · 2026-11-22