字节 Seed 发布 Lucida：室内视频一键变可编辑 3D 仿真场景
petewoodbridge · x · 2026-09-01
字节跳动 Seed 联合北大、浙大发布 Lucida，一个可组合的 real-to-sim 场景建模系统，能把室内真实视频重建为完整、可编辑的物体资产并按原样摆放。
流程分三步：
- Parse：选取关键帧、跨视图关联实例，构建带掩码/3D框/局部点云的验证场景图；
- Generate：为每个物体合成无遮挡图像，用 Seed3D 2.0 生成完整可编辑 3D 资产；
- Place：通过闭环的 GizmoAct（VLM 操作 3D 编辑器）迭代发出可执行位姿编辑，直到渲染资产与实拍场景对齐。
项目还提供基于 VLM 的物体检测与指代描述，擅长位姿对齐，可生成高保真 real-to-sim 数字孪生，每个物体都是独立的可仿真 mesh。
所属事件:字节 Seed 发布 Lucida 视频转可编辑 3D 场景(4 条相关)→
「具身」频道最新
- 微调本地模型跑在 Orin 64GB 上，自主机器人已实岗卖酒管店 — ChrisRackauckas · 2026-10-18
- MIT 的 Rackauckas:开源模型接管机器人日常运维,Opus 只写脚本 — ChrisRackauckas · 2026-10-18
- 用 Opus 数小时设计出约 3.1 万美元开源低场 MRI 头部扫描仪 — DreamFly_13 · 2026-10-18
- 作者实测自制舵机机构:偏航行程大、俯仰行程有限 — _Stocko_ · 2026-10-18
- 脑植入物让失语者重新开口，Science 长文综述语音 BCI 产业进展 — EricMTrautmann · 2026-10-18
- Meta 可穿戴 VP 用 3 部手机 23 副眼镜跑个人 AI Agent — nikola_mr64990 · 2026-10-18