生数发布实时视频模型 S2：720p/25-42FPS 数字人与实时改视频，附空间视频方案

赛博禅心 · wechat · 2026-09-15

生数科技（Vidu）上线实时视频模型 S2，输出提升至 720p、25-42FPS，含两款模型并已开放在线 Demo 与 API。

S2-Avatar（实时数字人）：

• 仅凭一张图生成可交互数字人，支持对话、做动作、换衣、拿物、换场景；
• 新增「动态参考」：对话中随时新增参考图改变角色设定与道具；
• 用一层 VLMAgent 维护状态——生成后续 prompt 时明确保留之前的状态（如继续拿着杯子），视频模型负责生成、Agent 负责状态一致性；
• 训练加入独舞与 2D/3D 动画数据扩展全身动作跟随；低分辨率骨干偏运动时序 + 单步 Refiner 保留外观细节；
• 用 Self-Replay Forcing（SRF）：把模型自己生成的长轨迹片段重新加噪做因果回放训练，改善连续生成的误差累积。

S2-Editing（实时改视频）：

• 接收持续视频流，按文字指令实时换画风/换内容，支持风格迁移、虚拟试穿、人物替换、背景替换四类任务；
• 动作由原视频提供（「P 视频」）；难点是不穿模：采用 Frame-Aligned Attention，目标帧只与同一时刻源帧交换信息，参考图可持续为各帧提供外观条件；同样复用 SRF 与流式内存优化。

实时空间视频：为左右眼生成略有差异的画面送入头显；单目先生成再转双目，双目则横向拼接编辑再拆分。

官方 benchmark（StreamAV-Bench、Sparkle-Bench、OpenVE、RefVIE、ViViD 等）显示达到领域 SOTA。项目由朱军教授博士生张金涛（流式视频生成与推理负责人）主导。技术报告：arxiv.org/pdf/2609.11638

所属事件:生数科技发布实时视频模型 Vidu S2(2 条相关)→

原文链接 →

「具身」频道最新

• The Verge 吐槽 Steam Frame 系统支持短，作者称苹果 iPhone 11 仍可升 iOS — AndrewSchmidtFC · 2026-09-15
• Agent as Policy:通用智能体写代码直接操控真实机械臂 — Mengzhao Jia · 2026-09-15
• 用 AI 图像生成做 PCB 丝印元素，被工程师称为省事妙招 — realwillreil · 2026-09-15
• 直驱模组两年出货涨45倍，本末科技将成港股「直驱第一股」 — 创业邦 · 2026-09-15
• 实体键盘专注手机 MinimalPhone2 众筹破 230 万美元 — 创业邦 · 2026-09-15
• 纯 Rust 实现 SLAM,visloc-rs 加入视觉惯性里程计且比 COLMAP 快 3.5 倍 — rsasaki0109 · 2026-09-15

更多「具身」频道 AI 资讯 →