NVIDIA发布开源AV-Flamingo音视频大模型
nvidia · hf · 2026-07-20
NVIDIA发布完全开源的音视频大语言模型Audio-Visual Flamingo (AV-Flamingo)，专注于理解和推理长且复杂的真实世界视频与音频。
主要亮点：
- 训练数据与方法：构建了包含约700万条字幕和问答实例的数据集，并采用三阶段课程学习，逐步从短程感知过渡到长时序多事件推理。
- 推理框架：引入时间音视频交错思维链，将推理步骤明确锚定到音视频流的时间戳上，提升时间对齐和可解释性。
- 性能表现：在15+个音视频及全模态基准测试中，不仅明显优于同等规模的开源模型，在部分长视频任务上甚至超越更大的闭源模型。
「多模态」频道最新
- Midjourney 风格参考分享:--sref 2912175708 — tisch_eins · 2026-09-11
- Astra 分镜+Minimax H3 分镜逐帧生成，视频创作成功率大增 — Hailuo_AI · 2026-09-11
- Hailuo 转推：MiniMax H3 MAX 一发生成 15 秒美食动画短片 — Hailuo_AI · 2026-09-11
- MiniMax Music 制作工具包 2.5 发布,新增完整母带处理链 — Vivid_Promise1700 · 2026-09-11
- ComfyUI 新节点发现器上线:按 star 增速过滤最新热门节点 — Luke2642 · 2026-09-11
- 用 MiniMax H3 MAX 对一只蚊子放大招,蚊子毫发无伤 — Hailuo_AI · 2026-09-11