清华+蚂蚁 PPMem:平面基元作持久 3D 记忆,视频世界模型生成更长连贯视频
Robbyant-Research · hf · 2026-10-19
清华大学、蚂蚁集团、HKUST 发布 PPMem,一个用平面基元(plane primitives)作为持久 3D 记忆的视频世界模型,用于生成可大规模探索环境的长时连贯视频。
- 动机:可探索的视频世界模型需要对已生成环境的持久 3D 记忆;少量定向平面即可紧凑捕捉室内外场景的主导结构(墙、地板、立面),每个基元仅 7 个参数
- 实现:在视频扩散 transformer 上增加平面预测头与 Depth Token Fusion(DTF)模块,每个自回归块同时产出 RGB 视频与平面几何,合并进持久平面记忆,后续块通过渲染深度接收其条件
- 记忆比逐像素点云紧凑约三个数量级(整场景约 10 万个基元、约 5 MB),且几何显式——带度量深度、法线与可导出表面,支持跨场景
「多模态」频道最新
- Dreamina Canvas 动作捕捉新玩法：参考视频直接迁移角色运动 — SarahAnnabels · 2026-10-19
- 一张参考图换掉视频角色：Recast 角色替换完整教程 — aziz4ai · 2026-10-19
- AI 视频新梗:办公室踢球版《办公室》被评为最强演绎 — i____eat___ass · 2026-10-19
- Reddit 热议：MOSS 3 会不会重蹈 Flux 3/SD3 封模覆辙 — Chrono_Tri · 2026-10-19
- 两个角色 LoRA 同图就串味？ComfyUI 双角色生成求助 — badgaab · 2026-10-19
- 谷歌 PaperBanana：五个 Agent 组队，自动生成学术论文插图 — aigclink · 2026-10-19