DeepMind 联合 AA 发布多模态智能体基准 MKA，Claude Fable 5.2 以 57% 居首
ArtificialAnlys · x · 2026-11-11
Artificial Analysis 与 Google DeepMind 合作推出 Multimodal Knowledge Agent (MKA) 基准，评测智能体对复杂视觉文件的知识型工作能力。
基准设计
- 200 个跨 10 个行业的真实私有视觉任务：输入包括建筑图纸、工程原理图、临床扫描等高密度视觉文件，要求产出幻灯片、表格、PDF、Word、报告和标注图像等交付物
- 每任务约 70 项专家评分标准，分为 Regression（基线能力）与 Climb（区分强模型的高难度项），主指标为 Climb WSR
- 在开源 agent 框架 Stirrup 中运行，提供代码执行、搜索、图片查看等工具（最多 250 轮），用 GPT-6 Luna (medium) 作智能体裁判
主要结果
- Claude Fable 5.2 (max) 以 57% 登顶，Gemini 4 Carbon (high) 54%、Claude Opus 5.5 (max) 53% 分列二三；Climb 得分区间 28%57%，区分度显著
- 头部 10 分内单任务成本相差近 30 倍：Fable 5.2 平均 $31.97/任务，是 Gemini 4 Carbon（$6.29）的 5 倍、GPT-6.1 Sol（$1.11）的 29 倍；Carbon 之下四款 OpenAI 模型均在成本-性能 Pareto 前沿
- 无单一模型全行业领先：Fable 5.2 领先 5 个行业，Opus 5.5 领先教育与建筑，Gemini 4 Argon 领先科学，Gemini 4 Carbon 领先医疗
所属事件:DeepMind 联合 Artificial Analysis 发布 MKA 多模态智能体基准(6 条相关)→
「模型」频道最新
- SuperGrok 又降额度?一天用掉 50%,九成 token 烧在冷启动 — NickPassig · 2026-11-11
- 烧 50 美元做 RL,只为让 Qwen3-8B 忘记怎么拼字母 E — AaronBergman18 · 2026-11-11
- WIRED 起底「Abliteration」群体：抹除开源模型拒绝护栏的自由派 — willknight · 2026-11-11
- 重放 64 次:Qwen 事故更像模型不可预测而非后门 — zakkohane · 2026-11-11
- 多方预告：Grok 4.8 有望本周内发布 — rand_longevity · 2026-11-11
- 「Sonnet 3」截图疯传：通篇神秘主义呓语引发猜测 — repligate · 2026-11-11