LLaVA-OneVision-2.5 发布:单一模型统一 24fps 流式与离线视频理解,编解码输入首次胜过均匀抽帧
liuziwei7 · x · 2026-11-19
LMMS Lab 发布 LLaVA-OneVision-2.5, 一个统一的多模态模型:同一套权重即可同时处理 24fps 流式视频与离线视频分析, 无需为不同场景维护多个模型。
核心发现:
- OV-2 阶段团队在训练中同时使用抽帧与视频编解码(codec)两种输入方式, 发现 codec 在时序定位类任务上有效, 但并非对所有视频任务都占优。
- 到 OV-2.5, 团队证明 codec 输入整体优于均匀抽帧, 首次在通用视频任务上给出明确信号:压缩域表示可以胜过传统帧采样。思路是把视频视作压缩表示而非独立帧堆叠, 正如单张图像可以以 JPEG 压缩形式存储。
所属事件:LLaVA-OneVision-2.5 发布:视频编码输入首超均匀抽帧(4 条相关)→
「多模态」频道最新
- Code World Model 2.0 发布:结构代理驱动无限可控视频生成 — _akhaliq · 2026-11-19
- Reddit 热传 AI 生成视频,逼真人物引热议 — UnfilteredTalkOffice · 2026-11-19
- Remotion 上线真实运动模糊:HTML-in-canvas + WebGPU 实现 — Vjeux · 2026-11-19
- 蚂蚁 Inclusion AI 发布 Invoker-Render:30 分钟稳定流式世界模型 — inclusionAI · 2026-11-19
- 博主实测 Gemini 4 Nano:多模态与设计还原力称可平替 Opus 5.5 — op7418 · 2026-11-19
- StableCraft 开源:ComfyUI 接 Photoshop 式套索局部重绘 — Business_Plum4088 · 2026-11-19