VIALS 基准:161 项生科图像判读任务,前沿模型远逊博士
niloofar_mire · x · 2026-11-07
- Handshake AI 发布 VIALS 基准(论文 arXiv:2608.21357):161 个视觉问答任务,覆盖生物科技行业的 8 个领域,要求模型判读凝胶印迹、流式细胞图、质粒图谱、系统发育树等真实实验产物并得出具体科学结论——用的是行业实际工作流中的图像,而非教材里的精修图。
- Artificial Analysis 同步上线 VIALS-AA 排行榜,用其开源 agent 框架 Stirrup(带代码执行与图像检查工具)对每个任务跑三次评估。
- 结论:前沿模型表现挣扎,缺乏科学知识与视觉感知能力,尤其难以对图像做科学推理;而具备相应 PhD 训练的科学家几分钟就能完成。作者认为在 AI 达到人类水平前,其在产业级生命科学工作流中的用处将受限。
- 背景意义:药物发现与疾病研究中,科学家需要大量目视判读实验结果来指导关键决策,这是 AI 落地生物医药的核心瓶颈之一。
「模型」频道最新
- 为治 AI 腔，团队禁用逗号与名词短语，还上了 spaCy 过滤器 — layer07_yuxi · 2026-11-07
- 团队为治 Claude AI 味禁用逗号连词，还用 spaCy 过滤名词短语堆叠 — layer07_yuxi · 2026-11-07
- 预训练仅 68 小时：博主惊叹中国开源模型碾压西方 SoTA — teortaxesTex · 2026-11-07
- MIT Media Lab 推出 Drift Calibrator:实时可视化 AI 谄媚与毒性漂移 — patpat_mit · 2026-11-07
- 网友估算 Anthropic 内部模型迭代:三代之间 AECI 仅提升 4.5 分 — ChrisGPT · 2026-11-07
- Kimi K3.1 Pro 上线 Tinker:256K 上下文,Tinker 最大模型 — _kevinlu · 2026-11-07