Reimers 谈长视频检索:7万亿像素压不进1024维向量
Nils_Reimers · x · 2026-11-17
Nils Reimers(sentence-transformers 作者)在系列推文中拆解企业级视频理解的难点:一部 10 小时 4K 电影有约 7 万亿像素,信息可能藏在任意位置,把这么多信息压缩进单个 1024 维向量的传统视频嵌入方案注定失败。此外,相关信息可能分布在画面、音频或时间轴上,甚至需要把第 5 分钟的画面、第 45 分钟的台词和第 90 分钟的事件组合起来才能回答问题。他指出多数厂商因此限制视频长度(如 AWS Nova 限 30 秒、Gemini embedding 每次限 120 秒),而多数 benchmark 只测无音频的短视频,无法反映企业长视频需求;他们的目标是支持任意长度视频的摄入。
「多模态」频道最新
- MOSS 出图演绎逆光蝴蝶:光影与概念混合的新玩法 — DevKkw · 2026-11-17
- VHS 质感恐怖短片《Human Alien》展现 AI 视频新美学 — brythehuman · 2026-11-17
- 开源 AI 视频编辑器 Scarlet 大更新:语音指挥剪辑并可导出专业软件 — MatthewBerman · 2026-11-17
- AI 生成短剧:薛定谔吐槽现代约会,大脚怪播客质感惊人 — FuzzByteStudios · 2026-11-17
- Seedance 2.5 4K 版本上线 fal 平台 — petewoodbridge · 2026-11-17
- Higgsfield 推出短剧工作室:输入剧本生成整季短剧 — azed_ai · 2026-11-17