专题 · FULL STORY

VIALS-AA 基准：从发布到工具实测

Artificial Analysis 基于 Handshake AI 推出生命科学视觉推理基准 VIALS-AA，Fable 5.2 多榜领先；随后实测显示工具使用改变格局，无工具的 Fable 竟不敌带工具的 Haiku，凸显 agent 模式价值。

2026-11-10 ~ 2026-11-12 · 2 集 · 9 条

第 1 集 · VIALS-AA 科学图像基准发布，Fable 5.2 居多榜之首(2026-11-10,4 条)

Artificial Analysis 基于 Handshake AI 的 VIALS 推出生命科学视觉推理基准 VIALS-AA，覆盖凝胶印迹、质粒图谱、系统发育树等科研图像。Claude Fable 5.2 (max) 以 67% 准确率居首，并在每轮平均工具调用数上以 1.60 次位列第一；Gemini 4 Carbon 在部分榜单以 64% 领先。数据还显示 Anthropic 模型能力越强越爱调用工具，而 OpenAI 恰好相反，揭示两家路线分化。

第 2 集 · Artificial Analysis 发布 VIALS-AA 基准:工具显著提升视觉推理但成本悬殊(2026-11-12,5 条)

Artificial Analysis 上线了新的生命科学视觉推理基准 VIALS-AA,并通过多轮实测拆解了「工具使用」对模型能力与成本的影响。总体结论是:agent 模式(可写代码、查看图片)能大幅提升成绩,但增益不成比例地偏向弱模型,且成本放大幅度因模型而异。该基准现已上线交互榜单,可按得分、每任务成本与工具调用次数横向对比。

已确认

  • VIALS-AA 源自 Handshake AI 的 VIALS,共 161 个任务,覆盖 8 类科研图像(凝胶印迹、显微镜图像等)
  • 全体模型平均分从约 25%(无工具)显著提升至 40% 以上(带工具,m1、m2 数据为 43%)
  • 增益分布不均:无工具时得分低于 31% 的 10 个模型平均每任务约 42 次工具调用,高于平均线的 7 个模型仅约 23 次;MiMo-V2.6-Pro 从 5% 暴涨至 43%
  • 强模型无工具反差案例:Claude Fable 5.2 去掉工具后竟不如带工具的 Haiku 5.5;Claude Fable 5.2 在 23 个细胞计数任务上从带工具 65% 掉到无工具约 4%,Opus 5.5 无工具从 57% 骤降至 4%
  • 细胞计数与定量是最依赖工具的任务类型:模型可裁剪图像、读取像素强度、用代码分离并精确计数,无工具只能目测
  • 成本影响:工具使所有模型每任务成本上升,但幅度悬殊——Qwen3.8 Max(0902,xhigh)放大 28 倍,Claude Fable 5.2 放大 5.8 倍
  • 交互榜单已上线,支持按得分、成本、工具调用数排序对比

为什么重要

  • 该基准直接量化了「agent 模式」的真实价值:视觉科学推理中工具不是锦上添花而是决定性能力,无工具与带工具的差距可达数十个百分点
  • 增益偏爱弱模型的现象提示:榜单排名高度依赖评测模式,单次请求与 agent 模式可能给出完全不同的模型座次
  • 成本放大 5.828 倍的量化数据,为实际部署中权衡「精度 vs 开销」提供了直接参考