Artificial Analysis 发布 VIALS-AA 榜:Gemini 4 Carbon 以 64% 居首
ArtificialAnlys · x · 2026-11-10
Artificial Analysis 上线 VIALS-AA 科学图像推理基准
Artificial Analysis 发布了 Handshake AI 的 VIALS 基准的自己的实现版本 VIALS-AA，测试模型能否解读科学图像并回答其中的证据问题。共 161 道任务，用开源参考 harness「Stirrup」跑 3 次，给模型提供代码执行与图像检查工具。
关键发现
- Gemini 4 Carbon (high) 以 64% 领跑，161 题中 103 题三次全对，比 GPT-6 Astra (max) 多两题；Gemini 4 Carbon 与 GPT-6 Luna / GPT-6.1 Sol / GPT-6.1 Terra / GPT-6 Astra 构成分数-成本 Pareto 前沿
- 多调用工具不等于更好：Claude Sonnet 5.5 (max) 与 GPT-6.1 Sol (max) 成分接近（60% vs 59%），但前者每题工具调用是后者的 3.6 倍；Fable 平均每轮 1.60 次工具调用，为全榜最高
- 稳定性区分同档模型：Kimi K3.1 Pro (max) 与 GPT-6 Astra (max) 的 pass@3 都约四分之三，但要求三次全对后分数拉开至 45% vs 63%
核心结论：模型答对题的路径差异很大，且经常在反复查看图像后仍然答错。
所属事件:VIALS-AA 科学图像基准发布，Fable 5.2 居多榜之首(4 条相关)→
「模型」频道最新
- 新版 ChatGPT/Codex 桌面端发送按钮损坏，用户从年度最爱转为弃用 — rudrank · 2026-11-10
- Claude Fable 5.2 三项未饱和基准全面超出趋势线 — emollick · 2026-11-10
- Meta 隐身模型揭秘:Crouton Alpha 就是 Muse Ember 早期版 — alexandr_wang · 2026-11-10
- GPT-6.1 Terra 视觉理解效率胜 Sol，Opus 5.5 居榜首 — reach_vb · 2026-11-10
- Polymarket 赔率:Grok 5 明年底前发布概率仅 11%,后年底 83% — Polymarket · 2026-11-10
- 爆料称 Anthropic 在训练中限制 Fable/Mythos 5.2 的 RSI 关键能力 — TinfoilTricorn · 2026-11-10