研究称视觉推理跳过看图直接用工具性能反升

Shao 等人的论文《Thinking With Tools, Not With Pixels》揭示了多模态视觉语言模型的一项反直觉现象。研究发现，在工具增强的视觉推理任务中，模型直接跳过查看实际图像像素，仅依赖工具调用的文本信息，其性能不仅没有下降，反而获得了提升。这表明模型在处理视觉信息时，更倾向于通过工具交互而非直接解析图像来进行思考。

2026-08-14 ~ 2026-08-14 · 2 条相关