NVIDIA发布开源AV-Flamingo音视频大模型
nvidia · hf · 2026-07-20
NVIDIA发布完全开源的音视频大语言模型Audio-Visual Flamingo (AV-Flamingo)，专注于理解和推理长且复杂的真实世界视频与音频。
主要亮点：
- 训练数据与方法：构建了包含约700万条字幕和问答实例的数据集，并采用三阶段课程学习，逐步从短程感知过渡到长时序多事件推理。
- 推理框架：引入时间音视频交错思维链，将推理步骤明确锚定到音视频流的时间戳上，提升时间对齐和可解释性。
- 性能表现：在15+个音视频及全模态基准测试中，不仅明显优于同等规模的开源模型，在部分长视频任务上甚至超越更大的闭源模型。
「多模态」频道最新
- 3D ResNet 论文八年突破 3000 引用，Kinetics 数据集成里程碑 — HirokatuKataoka · 2026-09-11
- 零编程经验者用 ChatGPT 开发 ComfyUI 安卓客户端将上架 — ComfierUI · 2026-09-11
- FastH3-Live 升至 22fps：加速节点实测与 ComfyUI 显存避坑 — spartong945 · 2026-09-11
- Midjourney 风格参考分享:--sref 2912175708 — tisch_eins · 2026-09-11
- Astra 分镜+Minimax H3 分镜逐帧生成，视频创作成功率大增 — Hailuo_AI · 2026-09-11
- Hailuo 转推：MiniMax H3 MAX 一发生成 15 秒美食动画短片 — Hailuo_AI · 2026-09-11