NVIDIA发布开源AV-Flamingo音视频大模型
nvidia · hf · 2026-07-20
NVIDIA发布完全开源的音视频大语言模型Audio-Visual Flamingo (AV-Flamingo)，专注于理解和推理长且复杂的真实世界视频与音频。
主要亮点：
- 训练数据与方法：构建了包含约700万条字幕和问答实例的数据集，并采用三阶段课程学习，逐步从短程感知过渡到长时序多事件推理。
- 推理框架：引入时间音视频交错思维链，将推理步骤明确锚定到音视频流的时间戳上，提升时间对齐和可解释性。
- 性能表现：在15+个音视频及全模态基准测试中，不仅明显优于同等规模的开源模型，在部分长视频任务上甚至超越更大的闭源模型。
「多模态」频道最新
- Firefly 视频编辑器实测：一句话 Quick Cut 将 32 秒素材剪成 20 秒 — LudovicCreator · 2026-10-26
- Hi3D V1.0 开源发布：训练资产翻四倍，切片成功率 90% — kimmonismus · 2026-10-26
- 用 Claude 十分钟替代 YouTube 缩略图设计师 — thedankoe · 2026-10-26
- 从业者回应「多模态无用论」：梳理历史与未来展望 — thoma_gu · 2026-10-26
- 一条 Prompt 生成完整 Blender 动画,作者全程未手动建模 — iamfakhrealam · 2026-10-26
- Muse Wonder 分块 + SAM 3.1,一粒不漏分割整根玉米粒 — nikhilaravi · 2026-10-26