RespSurvBench 发布:21 个模型测呼吸道疫情监测,最高通过率仅 25.5%
kenbwork · x · 2026-11-06
kenbwork 团队发布 RespSurvBench,一个用于评估 AI 在呼吸道疫情检测与追踪能力的基准,共 110 项评测,覆盖诊断检测、病原发现、病毒演化与传播、人群监测四个方向。
在 21 个模型、34 种模型-harness 配置的组合中,最高通过率仅为 25.5%(Pi 中的 Claude Opus 5.5),且拒绝回答和执行错误都计为失败。初步分析显示模型常犯的科研错误包括:把缺失观测当阴性结果、匹配错记录、把测量伪影误认为真实生物学信号。团队认为 AI 将成为呼吸道疫情监测的核心基础设施。
所属事件:RespSurvBench 发布:21 个模型最高通过率仅 25.5%(4 条相关)→
「研究」频道最新
- ReLU网络二阶导几乎处处为零,物理与PINN场景必须换平滑激活 — bravo_abad · 2026-11-22
- Sinclair实验室用AI筛选化学重编程分子,小鼠4周组织年轻化 — thederbiedone · 2026-11-22
- Levent Alpöge 称用 Anthropic 模型产出 1740 万行 Lean 证明黎曼猜想 — jedisct1 · 2026-11-22
- tufazip 用神经网络把 1GB 维基百科无损压到 105MB — RichmanRonald · 2026-11-22
- 实测:QLoRA 微调 2B 小模型在分子分类上碾压闭源大模型 — madeofAjala · 2026-11-22
- 281 个开源 agent 技能库:模块化 SKILL.md 对比 .cursorrules 的 token 经济账 — ProYash239 · 2026-11-22