生命科学视觉推理榜发布:Gemini 4 居首,Claude 每任务成本高 29 倍
ArtificialAnlys · x · 2026-11-07
Artificial Analysis 上线 VIALS-AA 排行榜,评测 Handshake AI 的 VIALS 基准——161 个任务覆盖 8 个生命科学与生物技术领域,要求模型解读 gel blots、流式细胞图、质粒图谱、系统发育树等科研图像并得出具体结论。每任务在开源 agent harness Stirrup 中跑 3 次,由 GPT-6 Luna(medium)对照参考答案评分,报告三次全对的 pass^3 比例。
要点:
- 前三名差距仅 3 分:Gemini 4 Carbon(high)以 64% 居首,GPT-6 Astra(max)63%,Claude Opus 5.5(max with fallback)61%
- 成本差异巨大:Opus 5.5 平均每任务 $1.64,约为 Sol($0.056)的 29 倍;主因是轮次——GPT-6 系平均 8 轮/任务,Claude 两款为 25–27 轮
- 开源模型落后约 19 分:Kimi K3.1 Pro 以 45% 领先开源阵营,MiMo-V2.6-Pro 43%
- 14/161 个任务出现安全拒答,Claude Sonnet 5.5 拒答最多(6 个),半数任务被多款模型共同拒答
所属事件:Artificial Analysis 发布生命科学视觉推理榜 VIALS-AA(5 条相关)→
「模型」频道最新
- Meta 推出 Muse Wonder 专用模型:遗忘减少 2.4 倍,卡壳改善 67% — AIatMeta · 2026-11-07
- 165 个生成世界实测:局部交互 83 分,有状态流程仅 30 分 — nptacek · 2026-11-07
- 激活转向实验:单个神经元即可让 Qwen3-30B 换「人格」,约1%回复见效 — Sauers_ · 2026-11-07
- OpenAI 与 Anthropic 互相观望按兵不发,大模型发布陷入僵局 — kimmonismus · 2026-11-07
- Deep Learning Weekly #480:提「Gemini 4 Carbon」与模型路由论文 — dl_weekly · 2026-11-07
- PostTrainBench:AI 智能体后训练得分半年从 23% 升至 45% — karinanguyen · 2026-11-07