Meta OverSeer 论文:固定辅助视角提升多智能体世界模型一致性
meta · hf · 2026-10-21
Meta AI 与牛津大学团队发布论文《OverSeer: Multi-Agent World Models Beyond What Agents See》。视频世界模型扩展到多智能体场景很难,因为需要生成多条在时间和智能体之间保持一致的视频流。
方法
- 在以智能体为中心的第一视角之外,引入空间上固定的辅助相机视角,作为「以世界为中心」的表征代理:与随智能体位置完全变化的视角不同,辅助视角的变化直接对应世界状态的局部变化,帮助模型维持一致性。
- 利用辅助视角的冗余与半静态特性,用 δ-VAE 只编码相对静态参考图像的变化,大幅压缩辅助视角所需的 token 数,降低计算开销。
实验
在 Minecraft 与 Doom 中验证了世界与智能体一致性的提升,并在真实世界多相机拍摄上给出定性结果,说明该方法不局限于游戏引擎。
「研究」频道最新
- Agents' Last Exam 基准全量跑在 HF 基础设施上,小米 MiMo 登顶超 Kimi K3 — yb2698 · 2026-10-21
- 用 PMI 监督点积：对比学习的表示损失新设计 — serrjoa · 2026-10-21
- GIST 论文：语义引导的自适应图像分词器，低 token 下 LPIPS 降 30% — cgmsnoek · 2026-10-21
- Ragged Blocks：在排版布局内渲染嵌套结构的新方法 — neurocy · 2026-10-21
- MemT-1.0：把记忆做成模型内生能力的新架构 — pmttyji · 2026-10-21
- NatWest 实测:Cohere Transcribe 英音 WER 15.3% 胜 Whisper — Nils_Reimers · 2026-10-21