PanoWorld：全景世界生成
Insta360 · hf · 2026-07-13
这项工作提出 PanoWorld，用于真实世界的全景生成，并试图解决全景世界模型中的长程记忆问题。
主要贡献包括：
- 利用全向表示的旋转等变性，把旋转转化为隐式几何变换
- 设计 DPRC（Dense Panoramic Ray-Conditioning）和 GMA（Geometry-aware Memory Augmentation）
- 提出三阶段训练流程，逐步优化各模块
- 构建 World360 数据集，包含真实无人机全景视频与 AirSim360 生成的高质量模拟片段
作者在 World360 上进行了大量实验，结果显示 PanoWorld 相比其他方法有明显提升；模型、训练代码和数据集都计划公开。
「多模态」频道最新
- Firefly 视频编辑器实测：一句话 Quick Cut 将 32 秒素材剪成 20 秒 — LudovicCreator · 2026-10-26
- Hi3D V1.0 开源发布：训练资产翻四倍，切片成功率 90% — kimmonismus · 2026-10-26
- 用 Claude 十分钟替代 YouTube 缩略图设计师 — thedankoe · 2026-10-26
- 从业者回应「多模态无用论」：梳理历史与未来展望 — thoma_gu · 2026-10-26
- 一条 Prompt 生成完整 Blender 动画,作者全程未手动建模 — iamfakhrealam · 2026-10-26
- Muse Wonder 分块 + SAM 3.1,一粒不漏分割整根玉米粒 — nikhilaravi · 2026-10-26