浙大等发布 VidUEU-Agent:自动从原始视频合成 10 万条多模态指令数据
Tengju Ru · hf · 2026-11-04
浙江大学联合香港大学、中科院自动化所、华为发布 VidUEU-Agent,一个面向视频理解、编辑与统一任务的数据策展智能体。
- 动机:多模态模型进步受制于高质量指令数据稀缺、标注成本高;原始视频虽有丰富视觉知识,但转成精确指令数据很难。
- 方法:多阶段流水线自动从原始视频合成指令数据,具备自主迭代能力,覆盖理解(U)、编辑(E)与统一(U)任务。
- 产出 100K 样本数据集,训练后可提升多模态模型性能。
为多模态训练数据合成提供了可复用的 agent 化流水线。
「多模态」频道最新
- Seedance 2.5 生成「离谱版 Malfoy」视频，效果惊人 — nikola_mr64990 · 2026-11-04
- 免费课程：生成式媒体 Agent 的四大生产难题与解法 — Al_Grigor · 2026-11-04
- PixelBench：用逐像素生成取代 QA,重新测多模态模型 — bdsqlsz · 2026-11-04
- 开源 Kitten-TTS 2 语音克隆：954MB 免 GPU 笔记本可跑 — solyarisoftware · 2026-11-04
- 「2030 年旧金山我们来收你的内存」：全本地硬件生成的赛博朋克短片 — Wonderful-Yak-3348 · 2026-11-04
- 开源视频 agent Openfilm 走红：让任意编码 agent 变视频制作器 — solyarisoftware · 2026-11-04