DirCast:单一流式视频模型同时导播电竞直播并实时解说
Zixian Gao · hf · 2026-10-26
- Alaya Lab、东京大学、Georgia Tech 等团队提出 DirCast,一个同时完成电竞直播导播与解说的流式视频-语言模型:导播不只是评论人类导播切好的画面,而是直接从每位选手的原始摄像头中决定切哪个机位并解说。
- 每秒以低分辨率扫描所有机位,用 hold-or-switch 机制决定是否切换,再以高分辨率读取所选画面后生成解说;上下文只保留过去信息并让旧视角过期,使任意长度直播的流式成本有界。
- 构建了 27 场职业 Dota 2 比赛数据集(每英雄一个摄像头,含人类导播选择与解说)。导播优于基于规则及 GPT-5 等零样本方案;解说是 11 个流式解说模型中最强的,在 Proact-VL 协议下对 GPT-4o 的胜率达 29.2%(对手 19.4%)。
「多模态」频道最新
- Grok 盘点 Blender MCP 实战:一条提示词生成完整可玩足球游戏 — chongdashu · 2026-10-26
- Opus 5.5 连跑 5 天,自作曲配自弹钢琴的日落湖景视频 — petergyang · 2026-10-26
- RTX 4090 上实时跑流体艺术生成,笔记本仍会卡顿 — andpoul · 2026-10-26
- 中国 AI 说唱神曲播放量破 1 亿,《南华早报》解析为何爆红 — scmp_news · 2026-10-26
- NUS 等发布 CycleGRPO:用循环自验证强化学习统一区域理解与定位 — NationalUniversityofSingapore · 2026-10-26
- 预算 4000-5000 美元想本地跑 AI 视频生成,求购机建议 — dewsphere · 2026-10-26