呼吸道病毒智能体基准发布，最高模型通过率仅30.2%
kenbwork · x · 2026-11-14
作者发布针对呼吸道病毒疫苗与疗法的新智能体基准 BioSecBench-RespiratoryVirus-Countermeasures，将任务分布从以往的威胁监测扩展到理解与治疗疾病。
- 共 64 项评测，覆盖五类主题：病毒结构与功能、免疫与抗原变异、宿主反应与疾病生物学、抗病毒活性与耐药性、临床与人群结局。
- 已公开 3 个任务供检视，涉及抗体占位、Omicron 中和与疫苗安全上报。
- 配套榜单显示：Gemini 4 Carbon + Pi 以 30.2% 通过率居首，Claude Sonnet 5.5 + Pi 为 18.8%，Claude Fable 5.2 + Claude Code 为 17.7%；拒绝与出错均计为失败。
- 整体得分偏低，作者指出低分并非单一原因所致，说明该领域对前沿模型仍有较大挑战。
「模型」频道最新
- 爆料称 Anthropic 或在 IPO 前后抛出大规模科学突破成果 — Dr_Singularity · 2026-11-14
- GraphSAGE 作者背书：Gemini 编排 Carbon+Hydrogen 是当前最佳 agent 配置 — tkipf · 2026-11-14
- 七周翻倍：Fable 5.2 远程劳动基准完成率达 41.25%，逼近人工水平 — ChrisGPT · 2026-11-14
- Claude Duet 美国等待名单全部发放完毕，Pro 用户附赠 3 次额度重置 — lydiahallie · 2026-11-14
- 研究者称开源权重模型「后门休眠特工」风险被严重夸大 — adam_karvonen · 2026-11-14
- Arena 数据：Fable 5.2 对 Opus 5.5 的优势随任务轮数拉大，16 轮以上 93% vs 85% — arena · 2026-11-14