MKA 基准补充博客：看懂建筑图纸做交付物的 agent 考卷细节
patloeber · x · 2026-11-12
作者发布配套博客，补充 MKA（Multimodal Knowledge Agent）基准的细节：该基准源自 Google DeepMind，用 200 个横跨 10 个行业垂直的任务，测试 agent 能否读懂建筑图纸、工程原理图、临床扫描等视觉密集文件，并产出报告、表格、幻灯片或标注图纸等专业交付物。任务在 Stirrup harness 中运行，agent 位于带代码执行与联网的 Linux 沙箱，上限 250 轮，由 GPT-6 Luna (medium) 按 1-5 权重的 rubric 标准作 agentic judge，主指标为 Climb WSR（更难标准的加权满足率）。
所属事件:DeepMind 联合 Artificial Analysis 发布 MKA 多模态智能体基准(21 条相关)→
「模型」频道最新
- Unsloth Dynamic v3.1 GGUF 发布:Qwen3.8 与 DeepSeek-V4.1 少 50% token 还更快 — danielhanchen · 2026-11-12
- 网传 Claude Opus 5.5 两天做出骑马游戏 demo，视频游戏要变天？ — prasenx · 2026-11-12
- OpenAI 工程师收到排行榜无法保存报告，拉响 SEV0 — iansilber · 2026-11-12
- 博主实测 Gemini 4 Carbon 对比 2 月旧版 Gemini 3.1 Demo,9 个月进步几何 — Angaisb_ · 2026-11-12
- OpenAI 十月高调展示解数学题，之后为何再无下文 — iam_indecisive · 2026-11-12
- Canva 自研设计模型成本仅前沿模型 1/40,参数少两个数量级 — samcharrington · 2026-11-12