谷歌联合 Artificial Analysis 发布 MKA 基准:200 个专家级多模态任务
osanseviero · x · 2026-11-17
Google DeepMind 与 Artificial Analysis 合作推出 Multimodal Knowledge Agent(MKA)基准,现已开放在 Hugging Face:
- 200 个任务、覆盖 83 种职业,每个任务相当于 3–8 小时专家工作量
- 超越 OCR:涉及蓝图、电路原理图、图表等真实专业视觉材料
- Agent 需输出幻灯片、文档、表格等成品
- 开放评测 harness 与样例任务
所属事件:谷歌联合 Artificial Analysis 发布 MKA 多模态智能体基准(2 条相关)→
「模型」频道最新
- Every 实测 Gemini 4 Carbon:编码大幅进步,判断力仍输给 Fable 5.2 — every · 2026-11-17
- OpenAI 携手四家外部机构对内部模型做嵌入式安全评估 — OpenAI · 2026-11-17
- MKA 基准实测:Gemini 4 Carbon 得分 54.3%,单任务成本仅为 Claude 的 1/6 — _philschmid · 2026-11-17
- 谷歌发布 Gemini Decisions API:一次评估千个问题、0 输出 token 计费 — _philschmid · 2026-11-17
- Gemini 4 Carbon vs Hydrogen 怎么选:一个深度推理,一个日常编码 — _philschmid · 2026-11-17
- 谷歌 DeepMind 一周连发 7 项开发者更新:Gemini 4 双模型领衔 — _philschmid · 2026-11-17