滑铁卢大学发布世界编辑基准 IGMWorld:前沿编码智能体最强仅过 78.2% 任务
UWaterloo · hf · 2026-10-07
滑铁卢大学团队提出「世界编辑」新研究方向:在既有可执行世界模型/游戏中做精准干预并保持其余属性不变,并引入「干预深度」刻画编辑对实体、动态与系统的耦合强度。
要点:
- 借助工业级游戏 modding 构建 IGMWorld 与 IGMBench:110 个任务、超 1100 条可执行状态与行为判据,覆盖 Minecraft 与 Terraria
- 任务跨越属性、实体、动态、系统四类干预,以确定性可执行性、行为、保持性与视觉四维评估
- 前沿编码智能体已展现可观能力:最强配置任务级通过 78.2%,判据级 94.8%
- 可靠性随干预深度递减;多数失败编辑仍能编译加载,难点在于让世界按预期行为运行
- 视觉一致性是普遍短板,所有配置联合视觉通过率不足 50%
结论:世界编辑是与世界生成、交互不同的独立能力,可执行游戏是实用研究测试场。
「编程与Agent」频道最新
- AI生成PR已超人类三倍,但「一个数字」掩盖了太多维度 — neal_lathia · 2026-10-07
- 工程师用 Every Agent 当全能 PM:Slack 转发即自动归档,PM 工作头回变爽 — kieranklaassen · 2026-10-07
- TablePlus 推出面向 Apple Silicon 与 AI Agent 的虚拟机产品 — film_girl · 2026-10-07
- Shopify 开源 SimGym:电商 Agent 实验从数周缩到 1 小时内 — sarahcat21 · 2026-10-07
- Flipper 路由器把 64% 任务分流给 DeepSeek,API 账单降超 60% — toptickcrypto · 2026-10-07
- 开源平台 Overmind:用生产轨迹持续训练与改进 AI Agent — cneuralnetwork · 2026-10-07