腾讯 ARC 开源 WorldCrafter:隐式 3D 记忆实现分钟级场景漫游
yshan2u · x · 2026-09-23
腾讯 ARC 团队发布视频世界模型 WorldCrafter，核心思路是完全跳过显式 3D 重建：模型学习一个可用相机位姿查询的隐式 3D 感知记忆，指向任意视角时由记忆模块补全该视图。
关键设计是让目标视角决定多视角证据如何压缩进视频生成器有限的 token 预算：记忆编码器与位姿条件读取模块和视频生成器联合训练，在去噪前将历史观测整合为固定数量的目标视角 token，无需显式深度对应。结合近期时序上下文与少步蒸馏，可从单张图片或一段文字出发进行流式场景探索。
实验显示在长时程一致性与相机控制精度上显著提升，可支持分钟级探索。目前分辨率 384×640，架构验证后可扩展。基础版与蒸馏快速版权重均已上 Hugging Face，代码与论文（arXiv:2609.24984）同步开放。
所属事件:腾讯 ARC 开源 WorldCrafter：隐式 3D 记忆实现长程一致的世界模型(9 条相关)→
「多模态」频道最新
- 博主称 Opus 5.5 一次性生成完整 newsletter 上线视频 — alex_verem · 2026-09-23
- PixVerse R2 实测:视频模型不再是片段,而是能 WASD 走进去的世界 — HeyAmit_ · 2026-09-23
- 一人包揽 AI 音乐 MV:作者实测全流程,称「单人制片厂」不到一年 — kraussian · 2026-09-23
- MiniMax H3 Ref2VA 实测:第 8 张参考图触发初始化卡死 — itchplease · 2026-09-23
- H3 长视频画质衰减有解:二次精修注入噪声稳住 latent — xyzdist · 2026-09-23
- 开发者用 Codex+GPT Image 2.5 自动生成角色替换 LoRA 数据集 — ostrisai · 2026-09-23