全开源视频多模态模型 VideoChat3
MCG-NJU · hf · 2026-07-17
VideoChat3 被介绍为一个 完全开放、效率更高、通用性更强 的视频 MLLM。
主要目标
现有开源视频模型常见问题是：
- 泛化能力有限，只在少数场景好用
- 计算开销高，难以扩展
- 只部分开放，训练代码/策略/数据集不全，影响复现
方法设计
作者从两个方向改进：
1) 提升效率
- 引入 Inflated 3D Vision Transformer (I3D-ViT)
- 采用 Adaptive Frame Resolution 做流式视频感知
- 降低训练和推理时处理视频输入的成本
2) 提升效果
构建了一个可扩展的视频数据合成流水线，整理出三套训练集：
- VideoChat3-Academic2M
- VideoChat3-LV116K
- VideoChat3-OL617K
覆盖通用、长视频和流式视频三类场景。
结果
在通用、长视频和流式视频基准上，VideoChat3 以 4B 参数 达到比之前同规模甚至更大规模的开源模型更好的效果，并且效率更高。
所属事件:全开源视频多模态模型 VideoChat3 发布(3 条相关)→
「多模态」频道最新
- Fish Audio 开源发布 Drama 3 TTS,博主演示旧帖一键转有声视频 — alex_verem · 2026-10-27
- Reddit 用户用 ComfyUI 生成逼真「清晨公交」短片 — no3us · 2026-10-27
- 网友为 MOSS 模型做模糊/防模糊 Slider LoRA,负权重让背景更清晰 — NoMouse9610 · 2026-10-27
- PixGR：像素空间生成式解码加速前馈 3D 高斯重建 — kwangmoo_yi · 2026-10-27
- Krea-2 Turbo 搭配 ComfyUI 做产品广告图，作者晒提示词与成片效果 — comfy-king-999 · 2026-10-27
- Marigold V2 深度估计支持高分辨率分块推理，登陆 ComfyUI — AntonObukhov1 · 2026-10-27