VideoGen-Agent 用 RL 训练智能体调度工具，视频生成提分 19.1
机器之心 · wechat · 2026-10-09
机器之心解读论文 VideoGen-Agent：一个基于 Qwen3-VL-8B-Instruct 的可训练多模态智能体，在视频生成前先调用检索、模拟、验证等工具补齐信息。
方法：先用 16K 条教师轨迹做监督微调建立工具使用能力，再用 8K 条提示做多任务强化学习；奖励由调用有效性（0.1）、工具使用（0.4）、视频质量（0.5）三部分加权。
效果：在新基准 VABench（600 条提示、六类任务：程序性知识、身份保持、物理一致性、场景组合、多镜头时序）上，基础生成器得 56.5 分，Toolset1 配置达 75.6（+19.1），升级生成工具后的 Toolset2 达 86.1；人类评估中 84.3% 偏好 Toolset2 对比 Seedance2.0。
关键发现：
- 工具策略可复用：保持智能体不变、仅升级底层生成工具即从 75.6 升至 86.1，多主体身份保持从 65.3 升至 86.7
- 组合泛化：在未见过的「专业动作+指定角色」组合测试（PI）上，RL 后智能体零样本取得 73.2 分，84% 的轨迹自发组合文本与图像检索
- 消融：固定工具流程 64.1 → SFT 69.2 → RL +6.4；移除视频质量或工具奖励分别降至 73.3 / 71.2
论文还探索了接入机器人工具链（π₀.₅ 动作预测 + Ctrl-World 视频生成）的扩展，但仅为定性演示。
「多模态」频道最新
- 用开源模型+Claude 把一段网球视频变成世界级教练 — tweetsatpreet · 2026-10-23
- 伯克利 StyleStream 2.0：流式语音转换延迟降至 520ms 提速一倍 — Berkeley · 2026-10-23
- AuroraTTS-100K：不到 100K 参数的英文 TTS，INT8 仅 127KB — Tall_Abrocoma_3533 · 2026-10-23
- FreeMatching:把图像生成器改造成通用稠密对应匹配器 — kwangmoo_yi · 2026-10-23
- 用 Claude 技能自动剪辑视频,作者公开完整工作流 — jacob_posel · 2026-10-23
- PixAI 开源动漫打标器 Tagger 1.0：3 万标签，曾用于 Tsubaki.3 数据整备 — bdsqlsz · 2026-10-23