DeepMind 首发多模态知识智能体基准：头部七模型挤在 95-97%
ArtificialAnlys · x · 2026-11-11
- 基准内容：Artificial Analysis 上线 Google DeepMind 的 Multimodal Knowledge Agent（MKA）基准，测试智能体能否读懂建筑图纸、工程原理图、临床影像等视觉密集型专业文件，并产出报告、表格、幻灯片、批注图纸等专业交付物。
- 任务设置：200 个任务、覆盖 10 个行业；智能体在 Linux 沙箱中运行，有代码执行、联网搜索和图片查看工具，上限 250 轮；用 GPT-6 Luna (medium) 作智能体裁判，按加权满足率（WSR）打分。
- 评分设计：每条标准标注 Climb（前沿模型仍常失败的难题）或 Regression（基线能力）。头部七个模型在 Regression 上差距极小（95%-97%），而 Climb 上拉开 28%-57% 的大差距，成为真正的区分点。
所属事件:DeepMind MKA 基准上线，头部模型高难项差距悬殊(4 条相关)→
「模型」频道最新
- PyMC Labs 发布营销基础模型 River:免逐数据集拟合的贝叶斯 MMM — twiecki · 2026-11-11
- TheZvi 指出 Fable 5.2 在多项测试上稳健性反而下降 — TheZvi · 2026-11-11
- TheZmi 观察:Fable 5.2 在多项鲁棒性测试上不升反降 — TheZvi · 2026-11-11
- Siri AI 端侧首层 Skimmer 拆解：纯正则免模型，最快比 LLM 快 20 倍 — SumitGup · 2026-11-11
- Stripe CEO 吐槽:高 effort 只是更深想每个选项,而不是考虑更多选项 — gabriel1 · 2026-11-11
- 民调：70% 认为 Anthropic 内部最强模型加 5000 万美元可碾压人类专家 — JacquesThibs · 2026-11-11