新基准 RespSurvBench:21 个模型最高通过率仅 25.5%
kenbwork · x · 2026-11-06
Ken 发布 RespSurvBench,用于评估 AI 在呼吸道疫情监测与追踪上的能力,共 110 项评测,覆盖诊断检测、病原体发现、病毒演化与传播、人群监测。
- 测试 21 个模型、34 种模型–harness 组合,最高通过率仅 25.5%,来自 Pi 中的 Claude Opus 5.5;拒答与执行错误均计为失败。
- 初步分析显示模型犯的是典型科研错误:把缺失观测当作阴性结果、记录错配、把测量伪影误认为真实生物信号。
- 作者称该基准由多位科学家共同完成,并附排行榜、博客、论文与 GitHub 链接。
所属事件:RespSurvBench 发布:21 个模型最高通过率仅 25.5%(4 条相关)→
「研究」频道最新
- RoboColosseum:5699 次盲评横评物理 AI,前沿 Agent 对战专用策略 — DJiafei · 2026-11-08
- MuJoCo 4.0 发布:薄物体不再穿透,软体可永久形变 — ZoubinGhahrama1 · 2026-11-08
- mitsuhiko:djs 的 JS「堆转储」或比真 dump 更适合持久化编码 agent — mitsuhiko · 2026-11-08
- Salesforce 论文:外置教师蒸馏费算力,领域专家合并省 42% — rohanpaul_ai · 2026-11-08
- Albert Gu 挺 Bitter Lesson:别把苦涩教训只读成堆 Transformer — sewon__min · 2026-11-08
- Autoware 开源越野自动驾驶仿真器:基于 NVIDIA Isaac Sim 支持多车训练 — rsasaki0109 · 2026-11-08