生数发布 ViduS2：720P 实时数字角色与流式视频编辑
生数科技 · wechat · 2026-09-15
生数科技发布 ViduS2，包含两个实时视频模型：
- ViduS2-Avatar：实时数字角色生成，输出从 S1 的 540P 提升至 720P，支持生成中随时插入新参考图（换装、拿物品、切场景），并保持动作与状态连贯（如拿起杯子后微笑仍持杯）；支持舞蹈等大幅度动作指令跟随，25-42FPS。
- ViduS2-Editing：对输入视频流实时编辑，支持风格迁移、虚拟试穿、人物替换、背景替换四类任务，运动中保持对齐。
- 空间视频：将实时输出转换为左右眼同步视图，可流式传输至 VR 头显，探索空间视频生成与编辑。
技术要点：提出 Self-Replay Forcing（SRF）训练方法，从模型自生成轨迹采样重放训练以抑制流式误差累积；用轻量单步 Refiner 在低分辨率主干输出上恢复细节；结合混合注意力、低比特计算与算子融合降低推理开销，并引入 VLM Agent 视觉反馈检查动作完成状态。
评测：StreamAV-Bench 9 项指标最优；OpenVE+RefVIE 联合评测 4.26 分高于离线模型 Bernini-R14B 的 3.92；ViViD 虚拟试穿 VFIDI 9.95 显著低于 CatV2TON 的 19.51。发布即开放体验，技术报告已上线 arXiv。
所属事件:生数科技发布 Vidu S2：实时数字人与流式视频编辑(9 条相关)→
「多模态」频道最新
- ArkTTS 系写实语音克隆模型登上 Hugging Face 热榜 — Edge0 · 2026-11-02
- Mistral 科普:模型写的求解器为何是新药与电池研发的第一步 — MistralAI · 2026-11-02
- Mistral Large 4 短提示词从零写出量子化学 SCF 求解器并自建 3D 可视化 — MistralAI · 2026-11-02
- 早安帖晒精美抖动像素风画作，复古质感引围观 — philipvollet · 2026-11-02
- Clown Prophecy 新招:首帧作参考防止 H3 长视频劣化 — reeight · 2026-11-02
- 25年老设计师发问：专业软件+AI 混合流还有人用吗 — Opening-Knee-5913 · 2026-11-02