生数发布实时视频模型 S2：720p/25-42FPS 数字人与实时改视频，附空间视频方案
赛博禅心 · wechat · 2026-09-15
生数科技（Vidu）上线实时视频模型 S2，输出提升至 720p、25-42FPS，含两款模型并已开放在线 Demo 与 API。
S2-Avatar（实时数字人）：
- 仅凭一张图生成可交互数字人，支持对话、做动作、换衣、拿物、换场景；
- 新增「动态参考」：对话中随时新增参考图改变角色设定与道具；
- 用一层 VLMAgent 维护状态——生成后续 prompt 时明确保留之前的状态（如继续拿着杯子），视频模型负责生成、Agent 负责状态一致性；
- 训练加入独舞与 2D/3D 动画数据扩展全身动作跟随；低分辨率骨干偏运动时序 + 单步 Refiner 保留外观细节；
- 用 Self-Replay Forcing（SRF）：把模型自己生成的长轨迹片段重新加噪做因果回放训练，改善连续生成的误差累积。
S2-Editing（实时改视频）：
- 接收持续视频流，按文字指令实时换画风/换内容，支持风格迁移、虚拟试穿、人物替换、背景替换四类任务；
- 动作由原视频提供（「P 视频」）；难点是不穿模：采用 Frame-Aligned Attention，目标帧只与同一时刻源帧交换信息，参考图可持续为各帧提供外观条件；同样复用 SRF 与流式内存优化。
实时空间视频：为左右眼生成略有差异的画面送入头显；单目先生成再转双目，双目则横向拼接编辑再拆分。
官方 benchmark（StreamAV-Bench、Sparkle-Bench、OpenVE、RefVIE、ViViD 等）显示达到领域 SOTA。项目由朱军教授博士生张金涛（流式视频生成与推理负责人）主导。技术报告：arxiv.org/pdf/2609.11638
所属事件:生数科技发布 Vidu S2：实时数字人与流式视频编辑(9 条相关)→
「具身」频道最新
- Harness Pro 用 ESP32-P4 做出 AI 编码 Agent 桌面监控屏 — dee_hw · 2026-11-02
- KAIST 提出 QCP：机器人策略可实时调控执行质量 — kaist-ai · 2026-11-02
- ANYbotics 防爆四足机器人 ANYmal X 开始向客户交付，全球首个 — lukas_m_ziegler · 2026-11-02
- 影溯落地全国首个具身仿真数采中心，目标单月产 100 万小时机器人训练数据 — 智东西 · 2026-11-02
- 浙大联合 TeleAI 提出 GR-BC：从多次不完美示教中拼出更优轨迹，精细操作成功率约 91% — 机器之心 · 2026-11-02
- 内存涨价三倍，特斯拉把 Optimus 大脑内存砍掉三分之一 — aakashgupta · 2026-11-02