PanoWorld:全景世界生成
Insta360 · hf · 2026-07-13
这项工作提出 PanoWorld,用于真实世界的全景生成,并试图解决全景世界模型中的长程记忆问题。
主要贡献包括:
- 利用全向表示的旋转等变性,把旋转转化为隐式几何变换
- 设计 DPRC(Dense Panoramic Ray-Conditioning)和 GMA(Geometry-aware Memory Augmentation)
- 提出三阶段训练流程,逐步优化各模块
- 构建 World360 数据集,包含真实无人机全景视频与 AirSim360 生成的高质量模拟片段
作者在 World360 上进行了大量实验,结果显示 PanoWorld 相比其他方法有明显提升;模型、训练代码和数据集都计划公开。
「多模态」频道最新
- invideo 发布新编辑器:AI Agent 干粗活,剪辑师专注创意 — azed_ai · 2026-09-11
- fable 5.1 用 25.6 万条 JS 笔画复刻《星月夜》 — cedric_chee · 2026-09-11
- GPT-6 Astra 接 Hyper3D MCP,一句话生成 3D 资产 — ahuja_priyank · 2026-09-11
- AI 视频仍穿帮的五个信号:小物件物理、无摄影师与跨镜头光线断裂 — NewPhoneWhotiz · 2026-09-11
- 用 MiniMax 和 ComfyUI 复刻迈克尔·杰克逊登月漫步短片 — Inside-Cantaloupe233 · 2026-09-11
- GPT Image 2 创意提示词:让产品成为画面中唯一的「契合形状」 — aziz4ai · 2026-09-11