DeepMind 联合 Artificial Analysis 发布 MKA 多模态智能体基准

Google DeepMind 与 Artificial Analysis 合作推出 Multimodal Knowledge Agent（MKA）基准，用于评估自主 AI 智能体在跨专业领域的复杂多步视觉知识任务上的能力。Claude Fable 5.2 以 57% 的成绩登顶，Carbon 以约 1/6 的成本位居第二；数据集已在 Hugging Face 公开。

已确认

• 基准由 Artificial Analysis 与 Google DeepMind 联合发布，评测智能体处理复杂视觉文件并产出交付物（幻灯片、表格、报告、标注图像）的能力
• 覆盖 10 个专业领域，共 200 个任务，测试文件包括工程原理图、建筑图纸、临床扫描等
• Claude Fable 5.2 以 57% 居首；Carbon 以 1/6 的成本排名第二
• 公开数据集中的一个示例任务为审计建筑平面图：检查剖面图与立面图中门窗不匹配的问题；Fable 5.2 完成该任务共查看图像 203 次，花费 68 美元
• 据 Artificial Analysis 介绍，单任务最长可达 224 轮、花费 68 美元，显示任务的多步骤与高成本特性

为什么重要

• MKA 面向日常职业工作中超出纯文本能力的视觉复杂任务（如交叉核对图纸、读取科学图表），填补了多模态 agentic 评测的空白
• 头部模型成本差距显著：Carbon 以远低于冠军的成本取得第二，说明性价比维度在智能体评测中日益关键
• 单任务动辄数百轮交互、数十美元开销，直观呈现了前沿多模态智能体落地的真实成本量级

2026-11-11 ~ 2026-11-11 · 6 条相关

• Google DeepMind 发布 MKA 基准：10 个专业领域考多模态智能体真实工作 — _akhaliq · 2026-11-11
• DeepMind 联合 Artificial Analysis 发布 MKA 基准，Claude Fable 5.2 以 57% 登顶 — ArtificialAnlys · 2026-11-11
• 谷歌 DeepMind 发布 MKA 基准:单任务 Claude 跑 224 轮花 68 美元 — ArtificialAnlys · 2026-11-11
• 【源头】DeepMind 联合 Artificial Analysis 推出 MKA 基准,Carbon 以 1/6 成本居第二 — GoogleDeepMind · 2026-11-11
• 【源头】MKA 示例任务：审计建筑图纸，Fable 5.2 看图 203 次花 $68 完成 — ArtificialAnlys · 2026-11-11

另有 1 条近重复转述:ArtificialAnlys