没有图像编码器能搞定高分辨率长视频吗?一段 30fps 视频高达 700 万 token

HildeKuehne · x · 2026-10-19

转引讨论质疑不依赖图像编码器的视频 tokenizer 设计:2K 分辨率图像约 4K token,1fps 的一分钟视频就达 20 万 token,30fps 更是高达 700 万 token——而人与 LLM 对话数小时也未必用到 10 万 token。视觉 token 平均信息量远低于语言 token,因此必须靠视觉编码器做时空池化或选择性丢弃 patch token 来压缩冗余信息,否则冗余信息会直接涌入 LLM。语言之所以能省掉这一步,是因为语言 token 的平均信息密度高得多。