VideoGen-Agent:基于 Qwen3-VL 的 8B 多模态 Agent 用工具循环改写视频生成
jiqizhixin · x · 2026-10-16
研究者发布 VideoGen-Agent,一个基于 Qwen3-VL-8B-Instruct 构建的可训练 8B 多模态 agent,把视频生成从单次 prompt 变成多轮工具使用循环。
- 动机:让视频模型做太极,动作流畅但马步未必正确;做菜视频步骤未必符合真实食谱;多镜头场景的剪辑顺序容易乱——单一 prompt 很难装下所有必要细节。
- 做法:agent 先调用检索、生成、验证类工具(文本/图像搜索、物理运动仿真、物体检测、深度估计等),根据工具返回结果再决策如何生成。
- 训练:先用监督微调(SFT)建立工具使用能力,再进行多轮强化(原文在此截断)。
架构图展示了 Agentic Loop:任务理解与分解 → 工具选择 → 观察(检索结果、光流、检测框、深度图等)→ 增强与验证 → 完成生成。
「多模态」频道最新
- AI 复古织物风渲染哥谭之夜:猫眼、蝙蝠与满屏小丑 — egeberkina · 2026-10-16
- Claude Code+Remotion 5 分钟把图表照片变动画视频,附 6 条 prompt — TawohAwa · 2026-10-16
- Kling 4.0 Omni Reference 支持单次混用 15 个参考素材 — SarahAnnabels · 2026-10-16
- Kling 4.0 实测：双人攀岩大场景全程保持角色与环境一致 — SarahAnnabels · 2026-10-16
- 大场景不再崩：Kling 4.0 沙漠长镜头保持角色环境稳定 — SarahAnnabels · 2026-10-16
- Lodestones 尝试将 MOSS-Image 蒸馏为 8 步生成 — SamuelTallet · 2026-10-16