清华团队开源 OpenMise:两阶段生成攻克视频模型空间一致性难题
新智元 · wechat · 2026-11-09
新智元报道了清华与宾大团队开源的空间场景编辑工具 OpenMise(GitHub: Rath-Team/OpenMise),针对 SOTA 视频生成模型(如 Seedance 2.5)在细节一致性上的硬伤——生成下棋视频时棋子位置逐帧漂移、凭空多出棋子,人物布景光影都对但棋局是错的。
核心思路:Builder + Render 两阶段
- Builder:Agent 通过 Blender MCP 用 Coding Agent 设计精确的三维草稿——场景校准、人物路径与骨骼动作、摄影机关键帧、灯光全部共享同一条时间轴,输出可检查的白模视频
- Render:把白模草稿、人物参考图和提示词交给视频生成模型(Seedance 2.5)渲染写实成片,模型不再需要自己维护棋盘等空间状态
技术要点
- 支持 Blender 原生场景与 3DGS 扫描、GLB/FBX 等多种资产,接入后需做坐标/尺度校准与空间标注(门的位置、可行走区域等)
- 路径校验考虑人物实际宽度,避免「中心过门、肩膀撞门框」;相机沿人物已走路径跟进防穿墙
- 中间产物可定位修改:路线不对改路径、镜头穿墙改摄影机、光线不对只改灯光,不用整段重抽
效果:团队演示了 3DGS 房间扫描中「走廊走到卧室+跟拍背影」等案例,称相对反复抽卡几十次仍难以达到的一致性,两阶段方案可稳定实现,能大幅降低短剧等视频生产成本。
「编程与Agent」频道最新
- Gemini 4 Hydrogen 56 秒建完 3D 沙漠牧场，3.8 Flash 要 6 分钟 — minchoi · 2026-11-13
- 30 分钟搭出可开门开冰箱的 3D 交互餐厅，Hydrogen 又秀新案例 — minchoi · 2026-11-13
- Gemini 4 Hydrogen 把 Google Sheets 变成逐格重算的动态山水画 — minchoi · 2026-11-13
- AI 响应慢别怪模型:流式输出+进度展示是留住用户的关键 — XxFreakhawkxX · 2026-11-13
- 用 LLM 事后核查 HN 评论预测准确率，创业者称数据库全开放即可做 — Darpinian · 2026-11-13
- ArtCraft 用 AI 复刻 Photoshop：日下载 170 万，开源社区 4000 人 — Latent Space · 2026-11-13