SIMIT：VLM 答题前先自编练习题，17 项基准平均提升 7.2%

delliott · x · 2026-10-28

丹麦技术大学等机构提出 SIMIT，让视觉语言模型在测试时自我改进且零标签：模型答题前先『想象』练习题——先写问题并定下答案，再生成使该答案成立的图像，从中学习后再答原题。核心洞察：解陌生题难，但出一道已知答案的练习题容易；而传统多数投票式自训练在模型错误时会把错误固化（在 VizWiz 上 99.2% 的伪标签是 'Unanswerable'）。SIMIT-ICL 仅靠上下文学习、免训练，在 17 项基准上 16 项提升，相对 BAGEL-7B 平均增益 +7.20%，无需标签、教师模型或外部验证器。