NVIDIA发布开源AV-Flamingo音视频大模型
nvidia · hf · 2026-07-20
NVIDIA发布完全开源的音视频大语言模型Audio-Visual Flamingo (AV-Flamingo)，专注于理解和推理长且复杂的真实世界视频与音频。
主要亮点：
- 训练数据与方法：构建了包含约700万条字幕和问答实例的数据集，并采用三阶段课程学习，逐步从短程感知过渡到长时序多事件推理。
- 推理框架：引入时间音视频交错思维链，将推理步骤明确锚定到音视频流的时间戳上，提升时间对齐和可解释性。
- 性能表现：在15+个音视频及全模态基准测试中，不仅明显优于同等规模的开源模型，在部分长视频任务上甚至超越更大的闭源模型。
「多模态」频道最新
- Midjourney V8.2 加入个性化并展示新图像效果 — Mr_AllenT · 2026-07-27
- Midjourney 图像多样性引发 Krea 2 对比与复现提问 — diffusion_throwaway · 2026-07-27
- AI 短片把 1985 年反乌托邦拍成电影感作品 — ProfessorKey98 · 2026-07-27
- Google Omni 做出的 BOTPD 新集变成追车戏仿 — ScriptLurker · 2026-07-27
- 一个新 LoRA 复刻了 GTA: San Andreas 的 RenderWare 画风 — Humble-Pick7172 · 2026-07-27
- AMD R9700 开启动态 VRAM 后，LTX 2.3 生成速度大幅提升 — xdcfret1 · 2026-07-27