LLaVA-OneVision-2.5 用编解码器信号替代抽帧,17 项视频基准中 13 项胜出
jiqizhixin · x · 2026-11-19
- 新工作 LLaVA-OneVision-2.5(@GlintLabAI 与 @lmmslab 主导)让视频模型不再按固定帧率采样,而是直接利用视频编解码器的信号来理解视频。
- 路线分三步走:OneVision-Encoder 证明视觉编码器可与 codec 信号对齐;LLaVA-OneVision-2 在完整 VLM 中首次验证该思路;2.5 版本上 codec 输入在通用视频任务上首次超越抽帧方案。
- 核心机制:不按每秒 1 帧观察,而是用 codec 的比特成本定位携带新信息的区域,打包进少量 canvas。
- 同一 4B 权重支持两种模式:离线处理图片与长视频;在线流式模式下帧持续输入,模型在每一步自主决定是否输出。
- 结果:17 项视频基准中 13 项超过模型自身抽帧方案、16 项超过 Qwen3.5-4B;流式模式采用该模态独有的全帧率设计。
所属事件:LLaVA-OneVision-2.5 发布,codec 输入首次胜过均匀抽帧(5 条相关)→
「模型」频道最新
- Anthropic 被曝按提示词画像静默降级用户,收费不变 — JafarNajafov · 2026-11-19
- 截图曝 Antigravity CLI 现身 Gemini 4 Neon Medium 模型选项 — patloeber · 2026-11-19
- 订阅额度性价比实测:Gemini 约 26 倍,OpenAI 仅约 10.5 倍 — PawelHuryn · 2026-11-19
- 快鲤鱼日报:小米大模型传分拆,腾讯元宝未达预期被砍投入 — 快鲤鱼 · 2026-11-19
- ChatGPT 分支工作区丢光上下文,用户吐槽 agent 秒变笨 — LucaAmb · 2026-11-19
- 0.5B 语音识别模型多语种错误率 6.96%,胜过 15 倍大的 Meta 模型 — thisguyknowsai · 2026-11-19