MKA 新基准：Claude Opus 4.5 以 57% 居首，21 模型横评视觉知识工作
patloeber · x · 2026-11-12
Patricio López 与 Artificial Analysis 合作发布 Multimodal Knowledge Agent (MKA) 基准（源自 Google DeepMind），测试 agent 处理视觉密集型专业文件的能力——如建筑图纸、工程原理图、临床扫描，并产出报告、表格、幻灯片等专业交付物。
- 共 200 个任务，覆盖金融、法律、医疗、科学等 10 个行业垂直领域
- agent 在 Linux 沙箱中运行，配有代码执行、网络访问、搜索与图片查看工具，上限 250 轮
- 用 GPT-6 Luna (medium) 作 agentic judge，按加权满足率 (WSR) 评分，Climb 指标为更难的Criteria
Climb WSR 排名（21 个模型）：Claude Opus 4.5 (52.5 max) 57% 居首，Carbon 4 (high) 54%、Claude Opus 4.5 (35.5 max) 53% 紧随；GPT-6 Sol (max) 50%、GPT-G1 So (max) 48%；Grok 4.7 (xhigh) 39%、DeepSeek V4 Flash 37%、MiniMax M2.5 Flash 33%，Step 5 Preview 28% 垫底。
所属事件:DeepMind 联合 Artificial Analysis 发布 MKA 多模态智能体基准(21 条相关)→
「模型」频道最新
- 网传 Claude Opus 5.5 两天做出骑马游戏 demo，视频游戏要变天？ — prasenx · 2026-11-12
- OpenAI 工程师收到排行榜无法保存报告，拉响 SEV0 — iansilber · 2026-11-12
- 博主实测 Gemini 4 Carbon 对比 2 月旧版 Gemini 3.1 Demo,9 个月进步几何 — Angaisb_ · 2026-11-12
- OpenAI 十月高调展示解数学题，之后为何再无下文 — iam_indecisive · 2026-11-12
- Canva 自研设计模型成本仅前沿模型 1/40,参数少两个数量级 — samcharrington · 2026-11-12
- 「fable5.2 深思 9 分钟」时的样子，AI 圈新梗 — _Stocko_ · 2026-11-12