DeepMind 联合 Artificial Analysis 发布 MKA 基准，Claude Fable 5.2 以 57% 登顶
ArtificialAnlys · x · 2026-11-11
Artificial Analysis 与 Google DeepMind 合作推出 Multimodal Knowledge Agent（MKA）基准，测试智能体处理复杂视觉文件并产出交付物的能力。
基准设计
- 200 个跨 10 个行业的真实私有视觉任务：输入包括建筑图纸、工程原理图、临床扫描等，输出为幻灯片、表格、PDF、Word 文档和标注图片
- 每个任务按专家 rubric 评分，平均约 70 项加权标准，分为 Regression（基线）和 Climb（高难）两类，头条指标为 Climb WSR
- 在开源 agent 框架 Stirrup 中运行，配备代码执行、网页搜索/抓取、图片查看工具（最多 250 轮），用 GPT-6 Luna (medium) 作 agentic judge
关键结果
- Claude Fable 5.2 (max) 以 Climb WSR 57% 居首，Gemini 4 Carbon (high) 54%，Claude Opus 5.5 (max) 53%
- 单任务成本相差近 30 倍：Fable 5.2 平均 $31.97，是 Gemini 4 Carbon（$6.29）的 5 倍多、GPT-6.1 Sol（$1.11）的约 29 倍
- 无单一模型称霸所有行业：Anthropic 领先 5 个垂直领域，Google 拿下科学与医疗，OpenAI 模型占据性价比 Pareto 前沿主力
所属事件:DeepMind 联合 Artificial Analysis 发布 MKA 多模态智能体基准(6 条相关)→
「模型」频道最新
- PyMC Labs 发布营销基础模型 River:免逐数据集拟合的贝叶斯 MMM — twiecki · 2026-11-11
- TheZvi 指出 Fable 5.2 在多项测试上稳健性反而下降 — TheZvi · 2026-11-11
- TheZmi 观察:Fable 5.2 在多项鲁棒性测试上不升反降 — TheZvi · 2026-11-11
- Siri AI 端侧首层 Skimmer 拆解：纯正则免模型，最快比 LLM 快 20 倍 — SumitGup · 2026-11-11
- Stripe CEO 吐槽:高 effort 只是更深想每个选项,而不是考虑更多选项 — gabriel1 · 2026-11-11
- 民调：70% 认为 Anthropic 内部最强模型加 5000 万美元可碾压人类专家 — JacquesThibs · 2026-11-11