CoLT：多模态潜思维链推理
机器之心 · wechat · 2026-07-15
本文介绍多模态潜空间推理方法 **CoLT（Chain of Latent Thoughts）**，目标是在不引入额外图像标注的前提下，让 MLLM 用少量连续潜向量替代冗长文本 CoT 完成推理。 ### 核心做法 - 用 **K=3** 个潜思维向量逐步展开推理，每一步都是语言模型某位置的最后一层隐状态，并直接回灌回模型。 - 训练时加入三重步级监督：**前向解码**（潜向量可还原下一步文本推理）、**后向解码**（与前序推理语义对齐）、**内部步间预测**（约束相邻潜向量的连贯性）。 - 训练后推理阶段丢弃解码器和投影头，只保留 3 步潜向量，因此几乎没有额外推理开销。 ### 主要结果 - 在 8 个多模态基准上平均准确率达到 **79.1%**，优于同骨干的 TextCoT（75.7%），也超过现有潜推理与潜视觉推理方法。 - 相比平均约 **142 个推理 token** 的 TextCoT，CoLT 只用 3 个潜向量，文本解码加速 **22.6×**，端到端推理加速 **10.1×**。 - 在 MMbench、ChartQA 等任务上表现突出，尤其在图表和 OCR 类场景增益明显。 ### 消融与解释性 - 三种监督信号都有效，尤其是**后向解码**贡献最大。 - 外部解码器用较小的 **Qwen3-0.6B** 就足够，继续放大收益很小。 - 最优潜思维步数在 **K=3**，过少容量不足，过多引入冗余。 - 通过训练期解码器可把潜向量映射回自然语言，说明潜思维并非纯黑箱噪声，而是承载了可辨识的推理片段。