Program-Verified Self-Evolution for Vision-Language Models
Ahmed Heakl, Sungik Choi, Moontae Lee, Salman Khan
cs.CV, cs.AI, cs.CL, cs.LG, cs.NE
2026-09-28
VQS用程序从结构解析算答案，人工核对正确率94.4%对多数投票76.4%，Qwen3-VL十项最高+3.18。
自进化视觉语言模型从无标注图片自己出题再训练。题目没有标准答案，现有方法用多数投票（同一题采若干次，取众数当标签）或模型裁判贴伪标签。
人工抽查500道生成题，多数投票标错24%，模型裁判标错18%。错误还会随循环上涨：VisPlay的伪标签准确率三轮从72%掉到61%，R-Zero从79%掉到63%。独立工作也指出，多数投票自奖励最终偏向很自信但答错的答案，然后崩掉。
标签来自模型自己的输出，错的答案会被越练越稳。
VQS（Verifiable QA Generation for Self-Evolving Models）从结构里算出答案，不靠投票。LG AI Research与MBZUAI的流程如下。
用GRPO不用SFT，模板写出来的句子会把模型拉离自己的分布，在线更新更贴当前策略。parser没有人工结构标注。每张图采样K=4份解析，按断言核验通过比例打分，最好的那份必须比均值高出δ=0.10且至少m=4条断言，才拿去SFT。12,000张图筛出4,792个目标。视觉塔冻结。parser、checker、盲门和solver共用权重。
整段结构一次判对错，分不出错一条和错五条，所以按短断言计分。
训练只用Venkatraman等人那批无标注图，题目和标签全部丢掉。评测是lmms-eval十项。
| 规模 | Base均分 | 最强基线VISE | VQS |
| 2B | 59.22 | 60.23（+1.01） | 62.40（+3.18） |
| 4B | 66.70 | 67.74（+1.04） | 69.01（+2.32） |
| 8B | 68.81 | 69.47（+0.66） | 71.24（+2.43） |
2B涨最多的是要读图再组合事实的题：MMMU从38.92到46.78（+7.86），ScienceQA从79.42到86.81（+7.39）。4B的MMMU从45.17到54.78（+9.61），是单指标最大涨幅。VISE在LogicVista和MMStar上三档都掉分，VQS两项都涨，十项全涨。多数投票类方法在MMMU上几乎不动，VQS的+7.86是VISE的+1.75的四倍出头。
同一批500题人工核对：VQS保留题正确率94.4%、留存76%；多数投票76.4%/92.0%；模型裁判82.2%/90.8%。按断言选目标，解析精度87.6、答案正确率96.1；整段一次判定是85.0和94.0。无训练parser出的题把solver压到58.0，低于2B基线59.22，因为13.2%答案是错的。无标签训练把parser的Structured-F1在GQA上抬5.0、ChartQA上抬6.6、AI2D-RST上抬7.4（75.2到82.6）。
去掉parser训练，solver从62.4掉到58.0；去掉事实核验掉到60.9。图表差值族+7.4，示意图连通性+5.8，物体是否存在-0.2。模板从10族加到70族，增益从1.9到3.18。中等难度族62.4，容易60.8，困难61.1。模型自写程序与题面一致率85.3%，solver少1.0。三轮循环在同一批图上重新出题、按半对半错加权，2B增益从3.18到3.41再到3.84，知识和推理类三轮后+5.94。Gemma3-12B、InternVL3-8B、Llama-3.2-11B均分分别+1.77、+1.51、+1.84，十项全涨。
自进化现在最大的坑是奖励来自模型自己。VQS把可验证奖励接到没有标签的视觉题上：先结构化，再程序算，再逐条核对。
适用场景是手里有大量无标注图、想抬开源VLM，尤其是读图表、示意图、拼多个事实的题。代码已公开。代价是手写模板，覆盖不到的题型涨不动；物体存在这类基座已经会的题，增益接近零。
这是换验证方式。同一批题上多数投票和模型裁判错了两成左右，换完错标大约6%。
论文没有单独的局限节。parser、checker、solver共用权重，checker可能顺着parser的盲区点头。附录用五套checker审1,417条断言：2B checker在247条陷阱里只放走1.2%，但已被它接受、又被至少两个外部checker否定的断言里，示意图箭头占26.7%，图表数值占8.3%，物体存在为0。独立核验更需要更大的模型，换家族不够。
人工核对仍有5.6%的VQS答案是错的，解析错了程序会一本正经算错。改写题面不进核验，8B上4例把比较题的两个年份对调。视觉塔全程冻结。增益随规模缩小：强化学习改掉的评测答案从2B的7.82%降到8B的4.93%，三档训练奖励都到约0.80，大模型把生成任务学会了，迁不到评测上的部分更多。模板还在加就还在涨，题型覆盖仍是上限。训练图与VISE同源，外推宽度没有单独测。