MicroPlanBench 发布:SOTA 多模态模型无一过 70%
heimmoritz 与 Animesh Garg 团队发布两个机器人领域新基准 MicroPlanBench 与 MicroAnnotationBench,评估多模态模型在多步目标(常含数百个子任务)中判断「下一步子任务」的能力。结果显示 SOTA 多模态模型无一超过 70%,约三分之一的下一动作预测会失败;GPT-6 Astra 领跑,GPT-6.1 Sol 紧随其后且成本仅为其五分之一。团队核心结论是「语义推理不等于感知时序」,暴露出机器人「大脑」在时序规划上的短板。
2026-10-20 ~ 2026-10-21 · 3 条相关
- 发布机器人双基准:MicroPlanBench 与 MicroAnnotationBench 首批排名揭晓 — chris_j_paxton · 2026-10-20
- MicroPlanBench 等新基准:SOTA 模型预测机器人下一动作约 1/3 会失败 — mattbeane · 2026-10-20
- MicroPlanBench:SOTA 多模态模型无一过 70%,机器人「下一步判断」成短板 — animesh_garg · 2026-10-21