LATENTLENS 无需训练解码视觉 token 在语言模型中的真实含义

burkov · x · 2026-11-13

视觉语言模型通常只需一个小连接器把图像特征映射进语言模型的表示空间，但图像 token 在语言模型内部究竟「意味着什么」一直不清楚，现有解释方法常把它们呈现得难以理解。新文章提出疑问：这种不透明究竟是模型本身的问题，还是检查工具的问题——这关系到如何解释模型行为、评估提升可靠性的路径。

文章介绍 LATENTLENS：一种免训练方法，将图像 token 的表示与语言模型在句子语境中对词语的表示进行比对。关键区别在于不再只把图像 token 与孤立的词表条目匹配，而是在一个大规模「语境化文本表示」索引中搜索，从而更准确地解读视觉信息的表征方式。