Artificial Analysis 发布 VIALS-AA 基准:工具显著提升视觉推理但成本悬殊
Artificial Analysis 上线了新的生命科学视觉推理基准 VIALS-AA,并通过多轮实测拆解了「工具使用」对模型能力与成本的影响。总体结论是:agent 模式(可写代码、查看图片)能大幅提升成绩,但增益不成比例地偏向弱模型,且成本放大幅度因模型而异。该基准现已上线交互榜单,可按得分、每任务成本与工具调用次数横向对比。
已确认
- VIALS-AA 源自 Handshake AI 的 VIALS,共 161 个任务,覆盖 8 类科研图像(凝胶印迹、显微镜图像等)
- 全体模型平均分从约 25%(无工具)显著提升至 40% 以上(带工具,m1、m2 数据为 43%)
- 增益分布不均:无工具时得分低于 31% 的 10 个模型平均每任务约 42 次工具调用,高于平均线的 7 个模型仅约 23 次;MiMo-V2.6-Pro 从 5% 暴涨至 43%
- 强模型无工具反差案例:Claude Fable 5.2 去掉工具后竟不如带工具的 Haiku 5.5;Claude Fable 5.2 在 23 个细胞计数任务上从带工具 65% 掉到无工具约 4%,Opus 5.5 无工具从 57% 骤降至 4%
- 细胞计数与定量是最依赖工具的任务类型:模型可裁剪图像、读取像素强度、用代码分离并精确计数,无工具只能目测
- 成本影响:工具使所有模型每任务成本上升,但幅度悬殊——Qwen3.8 Max(0902,xhigh)放大 28 倍,Claude Fable 5.2 放大 5.8 倍
- 交互榜单已上线,支持按得分、成本、工具调用数排序对比
为什么重要
- 该基准直接量化了「agent 模式」的真实价值:视觉科学推理中工具不是锦上添花而是决定性能力,无工具与带工具的差距可达数十个百分点
- 增益偏爱弱模型的现象提示:榜单排名高度依赖评测模式,单次请求与 agent 模式可能给出完全不同的模型座次
- 成本放大 5.828 倍的量化数据,为实际部署中权衡「精度 vs 开销」提供了直接参考
2026-11-12 ~ 2026-11-12 · 5 条相关
- 第 1 集:VIALS-AA 科学图像基准发布，Fable 5.2 居多榜之首(2026-11-10,4 条)
- 第 2 集:Artificial Analysis 发布 VIALS-AA 基准:工具显著提升视觉推理但成本悬殊(2026-11-12,5 条)
一手来源
- VIALS-AA 榜单上线:可按得分、成本、工具调用数横评各模型 — ArtificialAnlys ·
- 实测:去掉工具后 Claude Fable 5.2 竟不如带工具的 Haiku 5.5 — ArtificialAnlys ·
- 工具增益偏爱弱模型:MiMo-V2.6-Pro 从 5% 暴涨至 43% — ArtificialAnlys ·
- 【源头】实测:去掉工具后 Claude Fable 5.2 竟不如带工具的 Haiku 5.5 — ArtificialAnlys · 2026-11-12
- 数细胞题最依赖工具:Opus 5.5 无工具从 57% 骤降至 4% — ArtificialAnlys · 2026-11-12
- 【源头】工具增益偏爱弱模型:MiMo-V2.6-Pro 从 5% 暴涨至 43% — ArtificialAnlys · 2026-11-12
- 工具调用成本差异悬殊:Qwen3.8 Max 带工具贵 28 倍,Fable 贵 5.8 倍 — ArtificialAnlys · 2026-11-12
- 【源头】VIALS-AA 榜单上线:可按得分、成本、工具调用数横评各模型 — ArtificialAnlys · 2026-11-12