新基准 RespSurvBench：21 个模型最高通过率仅 25.5%
kenbwork · x · 2026-11-06
Ken 发布 RespSurvBench，用于评估 AI 在呼吸道疫情监测与追踪上的能力，共 110 项评测，覆盖诊断检测、病原体发现、病毒演化与传播、人群监测。
- 测试 21 个模型、34 种模型–harness 组合，最高通过率仅 25.5%，来自 Pi 中的 Claude Opus 5.5；拒答与执行错误均计为失败。
- 初步分析显示模型犯的是典型科研错误：把缺失观测当作阴性结果、记录错配、把测量伪影误认为真实生物信号。
- 作者称该基准由多位科学家共同完成，并附排行榜、博客、论文与 GitHub 链接。
「研究」频道最新
- RoboColosseum 上线：11 月 CoRL 会议现场演示标准化物理 AI 评测栈 — DJiafei · 2026-11-06
- PolymathicAI 纽约团队招聘：实习、博士后到研究工程师多个 AI4Science 岗位 — cosmo_shirley · 2026-11-06
- Hugging Face 烧 80 万 GPU 小时发布免费 MoE 训练手册 — Thom_Wolf · 2026-11-06
- METR 数据：AI 基准增速翻倍，Anthropic Model 4 得 178.6 分 — scaling01 · 2026-11-06
- 博主实测 Astra 权重：输入输出单元竟可人类直读 — rupspace · 2026-11-06
- Adobe HueRistic 获 UIST 最佳论文荣誉提名：AI 自动调配直播间灯光颜色 — rufusd · 2026-11-06