实测:去掉工具后 Claude Fable 5.2 竟不如带工具的 Haiku 5.5
ArtificialAnlys · x · 2026-11-12
Artificial Analysis 在其实现的 VIALS-AA 基准(生命科学视觉推理,161 任务)上对比了模型带工具(agent 模式,可写代码、查看图片)与不带工具(单次请求)的表现:
- 全体模型平均分从约 25% 升至 47%,工具使用几乎让分数翻倍
- Claude Fable 5.2 (max) 带工具以 67% 居首,每任务成本 $4.20;去掉工具掉到 44%($0.73)
- Claude Haiku 5.5 (max) 带工具得分 49%,已超过无工具的 Fable,成本仅 $0.07/任务,约为后者 1/10
结论:在 agent 框架中,低成本小模型在科学图像解读上可同时打赢无工具的大模型的性能与成本。
所属事件:Artificial Analysis 发布 VIALS-AA 基准:工具显著提升视觉推理但成本悬殊(5 条相关)→
「模型」频道最新
- Reflection 开源编码 Agent Beam 限时免费，Zig 编写的 fx 仅 5.97MiB — evilrabbit_ · 2026-11-12
- 网友猜测谷歌今日或直接发布 Gemini 4 正式版而非 Flash — algo_diver · 2026-11-12
- Fable 5.2 拒答率大降，但 BullshitBench 排名跌至 40 与 53 名 — burny_tech · 2026-11-12
- Artificial Analysis 实测：Claude 升一档模型比拉满推理力度更省钱 — ArtificialAnlys · 2026-11-12
- Google 官方展示 Gemini 4 Carbon 实战：从零写 CUDA 视效引擎 — burny_tech · 2026-11-12
- Claude iOS 版曝光 Saved logins 功能，可保存网站登录凭证供 Agent 使用 — testingcatalog · 2026-11-12