StreamEval: Evaluating Interactive Streaming Video Generation Models
StreamEval Team
cs.CV
2026-10-20
300 条脚本、37 个模型的评测里，流式视频的画质和身份可以很高，表演动作跟随最高 36.9，参考图编辑的完整成功最高 15。
流式视频要边生成边接新输入。数字人得接着聊，世界得响应物体、动作和机位，直播编辑得在前进的源画面上改一处、换参考、再撤销。每次请求都带着时机和范围：何时生效、动哪里、哪些身份、场景和已经做好的编辑必须留下。
现有分数盖不住这件事。VBench 和 EvalCrafter 看画面与时间行为，T2V-CompBench 看组合对齐，WBench 看生成世界里的多轮控制，StreamAV-Bench 的滚动大约 180 秒，LongV2VBench 的编辑大约 60 秒，VideoFDB 看全双工对话里的非语言线索。规定动作、外部源视频上的实时编辑和数字人对话，此前不在同一套按时钟投放输入的协议里。
五个任务各 60 条，合计 300 条：数字人对话、数字人表演、世界生成、指令编辑、参考图编辑。时长分 15、30、60、120、300 秒五档，每档 12 条，档与档等权。一条 300 秒的用例不会压过一条 15 秒的用例。源族 240 个，另有 60 条文本对话复用身份。在线事件 1347 个，全套跑一轮约 525 分钟，不含启动和收尾。
一条用例是初始素材加时间轴。语音、文本和参考图到点才放出。检查点写清要建立、保留、取消或恢复什么，执行和保留分开记分。肖像由 GPT-Image-2 与 Qwen-Image 合成，限于合成成年人或虚构角色。语音来自 Qwen3.5-Omni，归一化词错率不超过 0.25。源视频不循环、不变速、不拼接。Qwen3.8-Max 起稿，检查点由人工标准答案定死。
十项指标都是 0 到 100 分，等权平均记为 Q-Overall，适用项因任务而异。Dialogue 是计划轮次里同时满足答案、内容、对话规范和时机的比例。Following 是做对的控制所占的百分比：表演看注视、表情、姿态和手势；世界生成里，目标还可见的每一帧都要至少部分呈现指定结果；指令编辑在没有严重泄漏时接受部分外观匹配。Edit Success 更严，范围、截止时间、是否仍生效、持续性和受保护内容必须全过。Preservation 看没被点名的区域和当时的源运动，撤销要回到当时的源画面。Continuity 看机位、物体是否还在以及空间关系。Quality 按五秒片段的缺陷档从 100 降到 0，严重缺陷优先。Stability 先要跨过 Quality 的门槛，画面干净会在两项里各算一次。Identity 取 Qwen3.8-Max-0902 和 Qwen3VL-Plus 里较低的一档，固定形象改与系统自己的开场帧比。Reference 只在参考图生效时核对。A-V Sync 要求唇形张开和音频包络的相关至少 0.3，时延的 95% 区间落在正负 200 毫秒内。
三次重复、时长档、五个时长档依次平均。缺输出和不支持的操作记 0，没触发的控制也留在分母里。判不出的必填项按 0 入表。接受自定义形象的数字人在 Q-Overall 上加 5，Overall 最高可以到 105，单项分不动。世界生成只平均四项，不加分。裁判探针的接受线是假阳至多 5%、假阴至多 10%、无法判定至多 10%。论文报告 37 个模型、47 套配置，每条重复 3 次。
对话 15 套配置里，Vidu S2 Avatar 的 Overall 为 93.98，其中 Q-Overall 88.98，再加 5。Quality 96.78，Dialogue 75.29，Identity 90.12。AVTR-1 为 84.14。Tavus CVI Full 不能换肖像，没有加分，Q-Overall 86.65，A-V Sync 94.44 为最高，Dialogue 73.91。LiveAvatar FULL 的 Stability 为 100，A-V Sync 为 0。MuseTalk 1.5 的画质、稳定、身份是 95.34、97.11、88.44，Dialogue 54.34，A-V Sync 38.09，Overall 79.66。
表演七个模型都有这 5 分，名次不受加分影响。Vidu S2 Avatar 的 Overall 为 81.71，Following 36.90，是七家最高，A-V Sync 99.60，Identity 86.12。最低的 Following 来自 Avatar-Forever 22B，6.37。LiveTalk 1.3B 的 Quality 最高，71.27，Following 16.59，Overall 75.85。身份过 80、稳定性过 96，脚本里的动作仍然大多没做对。
世界生成的 Overall 最高是 MemFlow 的 33.36，Rolling Forcing 33.01，Krea Realtime 31.61。Following 最高是 Krea Realtime 的 25.93，摘要把它标在文本条件世界生成上；MemFlow 为 22.59。HappyOyster 1.0 Adventure 的 Quality 58.34、Stability 56.67 为该项最高，Following 5.56，Continuity 2.78。Continuity 最高是 Matrix-Game 3.5 的 34.50。
指令编辑中，Vidu S2 Editing 的 Overall 为 45.43，Following 72.10，Edit Success 57.20，Preservation 60.93，Quality 22.99，Stability 13.94。JoyAI-Video-Edit 的 Preservation 为 83.33，Edit Success 43.52，Overall 42.39。参考图编辑只展示 Overall 不低于 5 的三家：Vidu S2 Editing 的 Edit Success 为 15.00，Overall 39.02，Reference 31.20，Preservation 64.44；JoyAI-Video-Edit 为 8.89；XMax X2.0 为 1.11。披风案例里，参考在 10 秒从红丝绒换成金缎，采样输出仍留着原来的灰披风。
| 任务 | 最高分 | 对照 |
| 对话 Dialogue | Vidu S2 Avatar 75.29 | Tavus 73.91，MuseTalk 54.34 |
| 表演 Following | Vidu S2 Avatar 36.90 | Avatar-Forever 6.37 |
| 世界 Following | Krea Realtime 25.93 | MemFlow 22.59，HappyOyster 5.56 |
| 指令 Edit Success | Vidu S2 Editing 57.20 | JoyAI-Video-Edit 43.52 |
| 参考 Edit Success | Vidu S2 Editing 15.00 | JoyAI 8.89，XMax 1.11 |
这些分数把好看和听指令拆开了。表演跟随最高 36.90，世界生成跟随最高 25.93，参考编辑的完整成功最高 15.00。只按画质挑实时系统，HappyOyster 会排得很靠前：Quality 58.34，Following 5.56。
300 秒编辑是 LongV2VBench 60 秒的五倍，世界生成长过 StreamAV-Bench 的 180 秒。WBench、WorldMark、StreamAV-Bench 各自评过 20、10、13 个系统。37 个模型在这里共用一套执行和保留标准。生成器没有新结构。缺口是被量出来的。
名次来自视觉语言模型裁判。人类成对判断和量规是否一致，要等后续的偏好采集，这 300 条上的实际假阳、假阴没有公布。
Stability 跨过 Quality 门槛后仍和 Quality 等权相加，画面好的模型在状态分上会再记一笔。5 分加成翻不动对话前三：Vidu 去掉加分仍是 88.98，高于 Tavus 的 86.65，也高于 AVTR-1 的 84.14。中部顺序会变。Vivix A1 的 Q-Overall 为 61.47，加 5 后 Overall 66.47，高于 LiveAvatar FULL 的 65.07。表演七家全都加 5，相对名次不变。
编辑表在评完后才留下 Overall 不低于 5 的配置，文中 37 个模型和 47 套配置都按这个公开子集计数。参考编辑 15.00 是展示出来的三家中的最高分。A-V Sync 在对话每 500 毫秒、表演每 250 毫秒采样一次，比口型误差粗。同时测了文本和图像条件的世界模型，表上只有文本成绩。肖像都是合成人脸。更广的身份与场景、全局重置、撤销一项编辑时让其余编辑继续生效，论文标成以后再补。对用户实时视频的感知不在这套协议里。