3DRAE:任意 3D 场景压缩成 1K token,西湖大学等提出场景生成新表示
Dongxu Wei · hf · 2026-10-21
西湖大学、Afari Intelligent Drive 与浙江大学团队发布 3DRAE,提出面向场景级 3D 生成的新表示方法。
- 核心思路是把任意数量、任意分辨率与宽高比的多视角图像,接地进行 3D grounding,压缩为固定长度(如 1024 token)的 3D latent token,实现"任何 3D 场景价值 1K token"。
- 与依赖可变尺寸多视角 2D latent 的 2D diffusion 方法(如 8192 token 级别)相比,直接在 3D latent 空间做 diffusion 建模,在空间一致性和效率上都更优,且不受视角耦合限制。
- 解码端支持任意位姿查询,可还原图像、point map 及彩色 3D 点云。
- 项目页面:wsdx.github.io/3DRAE
「研究」频道最新
- Sara Hooker PyTorchCon 演讲：单纯堆预训练规模已到极限 — PyTorch · 2026-10-21
- 设计抗蛇毒血清仅 64 小时，获批却要等 4-7 年 — DimitrisPapail · 2026-10-21
- ValsAI 发布 ClaimBench:1960 条财务声明实测 15 款决策模型 — denisyarats · 2026-10-21
- BrainLoRA 用单次因果前向预测脑活动，算力省 350 倍登顶 Algonauts — _akhaliq · 2026-10-21
- 立陶宛医学 AI 大会观察：本地模型成医疗研究刚需 — EmilPi · 2026-10-21
- 球面不动点推理器 SFPRM：让循环 Transformer 学会自己停 — GabGarrett · 2026-10-21