Meta 与牛津发布 OverSeer 多智能体世界模型，Minecraft 一致性任务最高提至 60.2%

armand_ruiz · x · 2026-10-29

Meta AI 与牛津大学的新论文 OverSeer:Multi-Agent World Models Beyond What Agents See,解决多智能体世界模型中多个自视角视频流难以保持时间与跨智能体一致性的问题。

• 方法：为每个智能体生成自视角视频流之外，再引入六个固定机位辅助摄像头视图，作为共享的「以世界为中心」参照——固定视角中的变化可直接映射为世界状态的局部变化，从而锚定一致性。
• 压缩：辅助视角冗余且半静态，用 δ-VAE 仅编码相对静态参考帧的残差，每帧 token 从 864 降到 108(8 倍压缩)；六个辅助视角只花两条完整智能体流 37.5% 的 token 预算。
• 效果：在 MAC-Bench(Minecraft)三项一致性任务上，基线准确率 0.0%、6.2%、12.5%,OverSeer 达 60.2%、37.9%、40.5%;在 Doom 重聚任务上迁移到 62.0% 与 67.0%,并经真实世界多相机采集验证不依赖游戏引擎。
• 评测洞察：帧级指标(如 FID)会漏掉失败——某基线在 Reunite at Start 上与 OverSeer 的 FID 差距仅 3.1,但答题正确率 0%。

数据集与项目页已公开。

原文链接 →

「模型」频道最新

• Mistral Large 4 发布日访谈:开源权重、自有数据中心训练、擅长网络安全 — huggingface · 2026-10-29
• Mistral 回归：发布 1T 总参 49B 激活多模态 MoE 模型 Large 4 — Xianbao_QIAN · 2026-10-29
• Gamma 5 登顶 Design Arena 幻灯片榜,通用类力压 Claude Opus 5.5 — haroonc · 2026-10-29
• Mistral 开源万亿参数编程模型 Le Chonk，仍落后中国顶尖模型 — The Decoder · 2026-10-29
• Mamba 作者致谢 SmolLM3:开放配方与 checkpoint 是开源研究的关键 — srush_nlp · 2026-10-29
• ThursdAI 一周速递：Gemini 4 Carbon、Genie 4 与 Anthropic IPO 传闻 — WolframRvnwlf · 2026-10-29

更多「模型」频道 AI 资讯 →