Artificial Analysis 跑分 DeepMind MKA 基准：头部模型 Climb 得分 28%~57%
ArtificialAnlys · x · 2026-11-11
Artificial Analysis 发布了 Google DeepMind 多模态知识智能体（MKA）基准的实测结果。该基准测试 agent 能否读懂建筑图纸、工程原理图、临床扫描等视觉密集型专业文件，并产出专业人士级别的交付物（报告、表格、幻灯片、标注图等）。
- 共 200 个任务，覆盖 10 个行业领域；agent 在 Linux 沙箱中运行，配备代码执行、联网、网页抓取与图片查看工具，上限 250 轮
- 评分采用 GPT-6 Luna (medium) 作为 agentic judge，在独立沙箱中检查交付物，按 15 权重加权计算满足率（WSR）
- 核心指标为 Climb WSR：基准把评分标准分为 Climb（前沿模型仍常失败的难题）和 Regression（基线能力）两类
- 结果显示 Regression 上头部 7 个模型挤在 95%97% 几乎无区分度，而 Climb 得分从 28% 到 57% 拉开明显差距
所属事件:DeepMind MKA 基准上线，头部模型高难项差距悬殊(4 条相关)→
「模型」频道最新
- WIRED 起底「Abliteration」群体：抹除开源模型拒绝护栏的自由派 — willknight · 2026-11-11
- 重放 64 次:Qwen 事故更像模型不可预测而非后门 — zakkohane · 2026-11-11
- 多方预告：Grok 4.8 有望本周内发布 — rand_longevity · 2026-11-11
- 「Sonnet 3」截图疯传：通篇神秘主义呓语引发猜测 — repligate · 2026-11-11
- OpenAI 文档疑现 GPT-6.2 字样，未发布模型意外露馅 — Angaisb_ · 2026-11-11
- 协作模型 Ampersand 登陆 Vercel AI Gateway,744B 参数免费一周 — ericzelikman · 2026-11-11