生数 Vidu S2 发布：边播边改视频，实时换装换脸换背景
量子位 · wechat · 2026-09-15
生数科技发布 Vidu S2，距上一代仅 69 天，发布当天全量开放。核心升级三块：
- S2-Editing：对正在播放的视频流实时换装、换人物、换背景、换风格，堪称视频版实时 P 图；实测人物一致性与服装形变较自然，偶有涂抹感与穿模。
- S2-Avatar：实时交互数字人升级到 720P（上代 540p），支持语音控制大幅动作（跳舞、转身），互动中可随时递入参考图让角色拿起指定物品或换装。
- 实时空间视频：可将生成/编辑视频转为双目立体画面送进 VR 头显，把真实世界当「画布」创作。
技术要点：用 Self-Replay Forcing 解决流式生成误差累积；Backbone-Refiner 两阶段架构加异步流水线实现 720P 不掉帧；重新设计位置编码将参考图注入与时间戳对齐，实现「从某时刻开始换」；VLMAgent 充当「执行导演」跟踪画面状态并规划生成；双向与流式两阶段分别用 DPO 和 Streaming NFT 做强化学习。项目由清华朱军教授博士生张金涛负责，技术报告已放出。
所属事件:生数科技发布 Vidu S2：实时数字人与流式视频编辑(9 条相关)→
「多模态」频道最新
- ArkTTS 系写实语音克隆模型登上 Hugging Face 热榜 — Edge0 · 2026-11-02
- Mistral 科普:模型写的求解器为何是新药与电池研发的第一步 — MistralAI · 2026-11-02
- Mistral Large 4 短提示词从零写出量子化学 SCF 求解器并自建 3D 可视化 — MistralAI · 2026-11-02
- 早安帖晒精美抖动像素风画作，复古质感引围观 — philipvollet · 2026-11-02
- Clown Prophecy 新招:首帧作参考防止 H3 长视频劣化 — reeight · 2026-11-02
- 25年老设计师发问：专业软件+AI 混合流还有人用吗 — Opening-Knee-5913 · 2026-11-02