UIUC 演讲:区域 token 让一小时视频比 patch 编码器 20 秒更省

Cohere · youtube · 2026-11-14

Cohere Labs 社区讲座,UIUC 博士生 Savya Khosla 介绍其区域(region-based)视觉表示研究。要点:- 现有视觉系统把图像切成固定 patch 网格:分辨率翻倍 token 数翻四倍,即使新增像素无信息;视频每帧再增数百 token,即使画面几乎不变。- 区域 token 把每个有意义的实体编码为单个 token,并跨帧持续存在,使计算量随场景内容而非分辨率或时长扩展。- 结果:一小时视频消耗的 token 少于 patch 编码器处理 20 秒片段,同时在分割、检索、情节记忆定位、空间推理等任务上性能提升。讲座还涵盖如何高效生成区域 token、扩展到视频并与语言对齐,目标场景包括可穿戴助手、盲人辅助等全天候视觉应用。