MazeBench 用 3D 开放世界测智能体,现有模型只到开局
patience_cave · x · 2026-07-28
- MazeBench 是一个用于评测长程规划和视觉空间推理的 3D 开放世界基准。
- 它包含数百个房间和谜题,作者表示当前最好的 agent 也过不了最初几层。
- 补充说明里提到,agent 需要穿过 200 多个房间,通过类似 Sokoban 的推箱子谜题找到 100 个隐藏宝石,而且难度增长很快。
- 团队还用模型原生 harness 加上摄像头和角色控制工具做了测试;无论输入是图像、ASCII 还是 JSON,表现都很差,最高只有 1%。
- 为了防止模型原地打转,他们还用了 novelty score 来在出现循环行为时提前停止。
所属事件:MazeBench 开源发布:3D 开放世界评测智能体长程规划(14 条相关)→
「编程与Agent」频道最新
- 用 Notion 搭个人记忆库,让所有 AI Agent 即插即用共享上下文 — ivanhzhao · 2026-10-16
- Lovable 应用接入 WhatsApp,可自动搭建客服收件箱与消息模板 — AlexandrePesant · 2026-10-16
- FDE-Gym 基准:顶级 Agent 仅完整解决 95 个真实交付任务中的 14 个 — dair_ai · 2026-10-16
- 六大 Deep Research API 实测横评:能力边界、定价与选型建议 — bar_raiser333 · 2026-10-16
- Geoffrey Huntley 开源自托管 AI 开发平台 Overalls,11 月初纽约发布 — kieranklaassen · 2026-10-16
- 开发者晒 OpenAI 用量:200 天烧掉近 2000 亿 token — Dimillian · 2026-10-16