Reimers 谈长视频检索:7万亿像素压不进1024维向量

Nils_Reimers · x · 2026-11-17

Nils Reimers(sentence-transformers 作者)在系列推文中拆解企业级视频理解的难点:一部 10 小时 4K 电影有约 7 万亿像素,信息可能藏在任意位置,把这么多信息压缩进单个 1024 维向量的传统视频嵌入方案注定失败。此外,相关信息可能分布在画面、音频或时间轴上,甚至需要把第 5 分钟的画面、第 45 分钟的台词和第 90 分钟的事件组合起来才能回答问题。他指出多数厂商因此限制视频长度(如 AWS Nova 限 30 秒、Gemini embedding 每次限 120 秒),而多数 benchmark 只测无音频的短视频,无法反映企业长视频需求;他们的目标是支持任意长度视频的摄入。

原文链接 →

「多模态」频道最新

更多「多模态」频道 AI 资讯 →