NVIDIA, Tsinghua, CMU, Berkeley and Princeton launch StreamEval, first real-time interactive streaming video benchmark
JaynitMakwana · x · 2026-11-03
NVIDIA、清华大学、CMU、UC Berkeley、普林斯顿联合 NUS 与 Reactor 推出 StreamEval，据称是首个针对交互式流视频生成模型的基准，评测模型能否在视频仍在生成时实时响应用户指令。
基准覆盖三大类任务：
- 数字人交互：AI avatar 能否在直播中对话并执行中途指令（如举手、改变动作）
- 世界生成：生成的世界能否响应指令，如驾船靠岸、控制镜头
- 实时视频编辑：能否只改一个指定元素（如物体颜色）而不破坏画面其余部分
基准包含五项任务（avatar 对话/表演、世界生成、指令编辑、参考编辑）、300 个 15–300 秒的脚本化场景、10 项指标。完全开源：评测代码、数据集（Hugging Face/ModelScope）和排行榜均已公开，厂商可通过 API 端点提交模型，榜单每月更新。已评测 38 个模型，初步结论：视觉质量与身份保持好，并不等于能可靠执行请求或维持状态一致性。
More from Multimodal
- Tiny latent diffusion model trained inside LLMs generates MNIST digits, 76% recognized — zeeshanp_ · 2026-11-03
- Realism LoKr for Krea 2 trained on 749 images, blind voting arena picks the best epoch — Wide_Director_8897 · 2026-11-03
- Stunning AI-generated dieselpunk elf warrior image showcases detailed mechanical design — azed_ai · 2026-11-03
- Black Forest Labs updates Flux.3 Klein docs to clarify it's primarily an image editing model — MonkeyBoyPoop · 2026-11-03
- UT Austin, Stanford et al. release unified survey of LLM-driven agentic computer graphics — UTEXAS · 2026-11-03
- Alibaba's TaoLive-AIGC releases TaoMate-FVSR, audio-guided facial video restoration — TaoLiveAIGC · 2026-11-03