NVIDIA发布开源AV-Flamingo音视频大模型
nvidia · hf · 2026-07-20
NVIDIA发布完全开源的音视频大语言模型Audio-Visual Flamingo (AV-Flamingo)，专注于理解和推理长且复杂的真实世界视频与音频。
主要亮点：
- 训练数据与方法：构建了包含约700万条字幕和问答实例的数据集，并采用三阶段课程学习，逐步从短程感知过渡到长时序多事件推理。
- 推理框架：引入时间音视频交错思维链，将推理步骤明确锚定到音视频流的时间戳上，提升时间对齐和可解释性。
- 性能表现：在15+个音视频及全模态基准测试中，不仅明显优于同等规模的开源模型，在部分长视频任务上甚至超越更大的闭源模型。
「多模态」频道最新
- 微调后的 Krea 2 raw 模型做出了一张雨夜驾驶图 — darlens13 · 2026-07-27
- 有人在问 Video2X 能否加载 OpenModelDB 自定义模型 — Used-Profit2355 · 2026-07-27
- 有人想让 AI 逆向拆解爆款视频特效成 ComfyUI 流程 — stale2000 · 2026-07-27
- Midjourney V8.2 加入个性化并展示新图像效果 — Mr_AllenT · 2026-07-27
- Midjourney 图像多样性引发 Krea 2 对比与复现提问 — diffusion_throwaway · 2026-07-27
- AI 短片把 1985 年反乌托邦拍成电影感作品 — ProfessorKey98 · 2026-07-27