VidUEU-Agent: A Data-Curation Agent for Multimodal Understanding, Editing, and Unified Tasks
Tengju Ru, Weitong Lian, Zecong Tang, Lingyi Meng, Haoran Li, Zhejun Cui, Yichen Zhu, Hangshuo Cao, Qi Kang, Yechi Liu, Kaixuan Wang, Yu-Jie Yuan, Chunwei Wang, Yu Zhang, Bo Dai
cs.CV
2026-11-03
浙大与港大提出VidUEU-Agent，用四阶段门控和四轮训练反馈，把8268条原视频收成10万条指令。微调后InternVL3-8B的MMDU从53.1升至61.1，Bagel的GEdit总分从6.527升至6.951。
统一多模态模型要同时看懂、改图，并在多轮对话里交错生成。这三类指令很少来自同一素材。静态图文没有状态变化，人工编辑标注又贵。原视频有时间顺序，但冗余、嘈杂，不能直接当训练集。
已有流程多半只生产理解问答。LLaVA-Video 从抽帧写视频问答，碰不到编辑和统一任务。需要的工序是：原视频进去，三种指令出来，配比随下游分数调整。
VidUEU-Agent 用四段流水线造指令，再用训练结果改分布。语言模型是 DeepSeek-V3，视觉语言模型是 Qwen3.5-9B。
镜头切分工具 PySceneDetect 先把视频切开。中间帧生成镜头摘要，连续场景并成章节，再收成全片摘要。Gate A 按信息量和画质丢弃空镜。
留下的镜头按间隔抽帧。Gate B 用工具统计和视觉语言模型去掉差帧，并为保留帧写说明。工具在章节、镜头两级挑选，每段只要一小套。工具输出改成白话，连同三级摘要为每帧打用途分。关键帧名额按时长下发，平淡镜头可以是零。高分候选用图像嵌入的余弦相似度做多样性约束，带权 facility-location 贪心负责挑选，减少近乎重复的连帧。
metadata 只保留经规则核过的信号。相邻关键帧的差异写成原子编辑，例如添加、移除、移动、开关。自车运动、曝光闪烁不算编辑。帧、说明、信号、变化和片段摘要绑在一起。
Gate C 按信息量、连贯性和整体质量筛选，并决定该片段适合理解、编辑还是统一。样本必须引用信号编号。编辑仅限同一镜头内一两处改动，其余区域要求保持不动。
每一轮用当前配比造 3 万条，从同一个 Bagel 起点联合微调，回读 MMDU、GEdit、WEAVE。agent 修改能力、领域、任务三类比例：增加稀缺视频类型，调整抽帧密度、名额和打分权重，并下调超标任务。第 4 轮的比例放大到 10 万条。
8268 条源视频、约 8505 个片段来自 OpenVid-1M、Panda-70M、Wikimedia、YouTube、FineGym、BDD100K 和 CodeVidCL。将近 2 万条 metadata 变成理解 4 万、编辑 3 万、统一 3 万，横跨五个场景、九种任务。统一题多要求生成目标状态，再选对候选图。
实验采用 LoRA，只更新插入的低秩权重。InternVL3-8B 仅微调理解子集。正文称 Bagel-7BMoT，表格写成 14B。MoT 是混合变换器，理解与生成分路。三个子集分开训练，各项最优并不在同一套权重上。
| 模型 | 指标 | 微调前 | 微调后 |
| InternVL3-8B | MMT-Bench | 0.546 | 0.596 |
| InternVL3-8B | MME | 2308.0 | 2369.3 |
| InternVL3-8B | LLaVA-Bench | 69.0 | 70.8 |
| InternVL3-8B | MMDU | 53.1 | 61.1 |
| Bagel | MMT-Bench | 0.645 | 0.651 |
| Bagel | MME | 1573.6 | 1900.2 |
| Bagel | LLaVA-Bench | 47.5 | 57.9 |
| Bagel | MMDU | 28.5 | 33.2 |
MMDU 考察多图、多轮回答是否对齐画面。InternVL3-8B 从 53.1 升到 61.1，MME 从 2308.0 升到 2369.3，高于同表 Qwen2.5-VL-7B 的 59.5 与 2308.6。后者未用这份数据训练，只是外部参照。LLaVA-Bench 仅从 69.0 到 70.8，低于 Qwen2.5-VL-7B 的 82.7。Bagel 的 MMT-Bench 从 0.645 到 0.651，起点已是表内最高。其 MME 从 1573.6 到 1900.2，仍低于 InternVL3 微调前。
GEdit-Bench 英文轨上，语义一致性（GSC）从 7.358 到 7.565，感知质量（GPQ）从 6.831 到 7.328，总分（GO）从 6.527 到 6.951。总分高于 Step1X-Edit 的 6.701 和 Gemini-2.0-flash 的 6.315，语义一致性与感知质量同样高于这两家。感知质量涨得更多。
WEAVEbench 测交错理解与生成。总分从 0.446 到 0.501，Logic 从 0.406 到 0.480，Game 从 0.365 到 0.419，Creation 从 0.475 到 0.501，Science 从 0.378 到 0.426。高于 Bagel-Zebra 的 0.449，低于 OmniGen2 的 0.609。开放式创作的增益最小。
迭代改为联合训练，每轮 3 万条、同一起点。
| 轮次 | MMDU | GEdit | WEAVE |
| 第1轮 | 29.7 | 6.541 | 0.448 |
| 第2轮 | 29.2 | 6.796 | 0.452 |
| 第3轮 | 31.4 | 6.873 | 0.458 |
| 第4轮 | 32.8 | 6.901 | 0.499 |
| 最终10万 | 33.0 | 7.065 | 0.526 |
第 2 轮 MMDU 降到 29.2，编辑和统一继续上升。第 4 轮三项一齐变好。扩到 10 万条后，MMDU 为 33.0，WEAVE 为 0.526，GEdit 为 7.065。7.065 与上面编辑子集单独训出的 6.951 不是同一次实验。
消融用每个能力约 1 万条，完整模型是 10 万量级且分开训练。同规模里，无 agent 最差：固定抽帧后直接生成问答，MMDU 22.0，GEdit 5.041，WEAVE 0.393。去掉 Gate B 为 24.7、5.175、0.404。去掉 Gate A 仍有 32.4、6.773、0.497。
三种指令从同一条视频的关键帧关系里拆出，编辑配对本身就是局部修改。采样比例由四轮分数推动。
这是数据工序的改进。多图一致性有实质涨幅，单图对话几乎不动。编辑总分同时超过表内的 Step1X-Edit 和 Gemini-2.0-flash。统一任务相对 Bagel 约提高 0.055，离 OmniGen2 的 0.609 仍有明显距离。只做单图问答的话，收益有限。
迭代直接看 MMDU、GEdit、WEAVE 的测试切分，正文称这些分数是 development-guided。配比沿这三张榜更新，主表涨幅里有多少是对榜调出来的，无法从正文拆开。MMBench、MMStar、VSI-Bench 不参与反馈，数字只在附录，正文没有。
消融约 1 万条，完整模型约 10 万条。去掉 Gate A 的降幅被标成轻微，对照却是 1 万条的 32.4 对 10 万条的 33.2，同规模完整流水线没有单列。门控和工具证据的方向看得清，每个模块值多少分说不清。
长程交错对话仍会传递早期错误。案例里，微调后的前几轮更听话，后续轮次沿错误继续。
DeepSeek-V3 与 Qwen3.5-9B 同时负责生成和质检，Gate C 的裁判也是视觉语言模型。强制引用信号编号能挡住一部分空样本：去掉该规则后为 MMDU 29.4、GEdit 6.031、WEAVE 0.470，规模仍是约 1 万条。编辑只允许一两处可见变化，大幅重绘不在数据里。通过率和调用成本均未报告。源视频多已经整理过，外推到脏视频缺少证据。