TwelveLabs 做出视频记忆层,能存时刻、实体和主题
AI Engineer · youtube · 2026-07-23
在这场题为 “Video Has No Memory. Here's How We Built One.” 的演讲里,TwelveLabs 的 James Le 提出:大多数视频 AI 之所以每次回答都像“重新看一遍”,不是因为上下文窗口太小,而是因为视频本身缺少可长期复用的记忆结构。
他的核心观点是,不要把视频当成一堆帧,而要把它看成一个时空体(spatial-temporal volume),再在其上构建记忆层:
- 一次摄取,多次推理
- 存的是原始“原语”,而不是最终答案
- 每个结论都要能回到时间戳
- 记忆内容由任务意图决定,不同场景记不同东西
TwelveLabs 的方案包括 embedding encoder、context store 和对外 API 的 video language model。演讲里还给出了多个 demo:世界杯视频检索、跨全库追踪 Messi、交通安防识别,以及广告位投放场景。
「多模态」频道最新
- Midjourney SREF 宝库 TischEins 因安全问题下线后全新重构回归 — tisch_eins · 2026-10-26
- MOSS-Image 4 步蒸馏版 HF 下载破 1.65 万,出图质量几无损耗 — _akhaliq · 2026-10-26
- 用 Claude Code 搭视频剪辑流水线,十段 prompt 从粗剪到成片 — TawohAwa · 2026-10-26
- 一句话生成3D世界,再用AI重绘成电影级镜头 — gizakdag · 2026-10-26
- 零实拍造出一整部电影世界:CineMap 导演分镜配 TapNow 成片 — gizakdag · 2026-10-26
- 快手 Kling 对阵字节 Seedance:中国 AI 视频模型竞争观察 — DavidmComfort · 2026-10-26