Where-OPD: Spatially Guided On-Policy Self-Distillation of MLLMs with Synthetic Scenes
Sophia Sirko-Galouchenko, Monika Wysoczanska, Andrei Bursuc, Nicolas Thome, Spyros Gidaris
cs.CV, cs.AI, cs.CL, cs.LG
2026-10-02
给冻结教师喂「证据在哪」的坐标提示，在 3000 张合成数数图上做 on-policy 自蒸馏，真实感知基准平均涨 3.23 分。
On-policy self-distillation(OPSD,在线自蒸馏)是 LLM 后训练的一招：教师是模型自己的冻结副本，额外拿到学生看不到的「特权信息」，再在学生自己采样的回答上逐 token 对齐分布。搬到多模态上，已有工作的特权信息清一色是「更好的视觉输入」：Vision-OPD 给教师裁剪出的目标区域，Imagine-OPD 给放大视图，RP-OPSD 拉高分辨率。这类做法在「图里找小物体」的任务上很强，但收益偏科。论文给的对照很直接：Vision-OPD 在 Qwen3.5-4B 上把 V 拉高 8.90 分、ZoomBench 拉高 14.56 分，CountQA 却掉 10.73 分。数数要扫全图找齐所有实例，裁剪正好把大部分证据切掉了。这些方法还依赖人工标注的定位(grounding)数据或外部模型来找区域。
于是问题变成：特权信息能不能不给「更好的图」，只告诉教师「证据在图像的哪几个位置」?
训练数据全部程序生成。1024×1024 画布上放 12 到 40 个几何图形(7 种形状 × 12 种颜色)，问题问「图里有几个绿色十字」。场景由代码渲染，每个物体的坐标天生已知，特权提示直接从场景元数据套模板生成：「Scanning for green crosses: found one near (377, 400), found one near (213, 805). Counting: 2 total.」一句话携带三样东西：目标类别、每个实例的坐标、最终答案。零人工标注，无外部教师，共 3,000 对图文。
训练时，学生只看图和问题，每个提示采样 8 条回答；冻结教师看同样的输入外加提示，对学生的每个前缀打分。损失是广义 Jensen–Shannon 散度(β=0.5),在每个位置只取学生概率最高的 100 个 token 计算，梯度只更新学生。推理时提示撤掉，用法与原模型完全一致。
选数数任务是刻意的：数数要求找齐散布在多个位置的全部实例，提示里的坐标列表正好示范了「扫描、逐个定位、汇总」的行为。训后的注意力图也显示，模型在图表题上会把注意力铺满所有相关区域，基线和 Vision-OPD 都会漏掉几块。成本极低：4B 模型一轮只要 4 张 H100 跑 1.4 小时，9B 跑 5.8 小时。
15 个基准、三个模型，Where-OPD 在每个模型上的平均分都是被比较方法里最高的：
| 设置 | 指标 | 结果 |
| Qwen3.5-4B | 15 基准平均 | 73.86 → 78.31(+4.45) |
| 同底座，Vision-OPD | 15 基准平均 | +0.53 |
| 同底座，OPD-V / S2VOPD | 15 基准平均 | +1.48 / +1.40 |
| Qwen3.5-4B | ChartQA / EvoChart | +7.20 / +10.11 |
| Qwen3.5-4B | MME-RealWorld / HallusionBench | +10.48 / +12.20 |
| 三个模型 | 真实感知基准套件平均 | +3.23 / +1.07 / +1.29 |
训练图全是几何图形，涨分却落在真实照片上：MME-RealWorld 里自动驾驶感知类涨 24.70、遥感涨 7.83,V 涨 5.76。合成到真实的迁移是全文最硬的结论。
消融把「坐标」和「答案」拆开了(七基准平均，基线 69.63):SFT 69.48、GRPO 69.70、无特权信息的 OPSD 69.56,基本白训；只给答案 71.27;只给坐标不给总数 72.35;坐标加总数 72.94。反过来把裁剪图当特权信息，CountQA 从 32.00 掉到 20.22。教师冻结也优于任何 EMA 更新率，论文的猜测是在合成图上更新教师引入了域偏移。
3,000 张程序生成图、几 GPU 小时、零标注，换 15 个基准普遍涨分，这个性价比在 MLLM 后训练里少见。方法层面它给 OPSD 开了一条新轴：特权信息可以是对证据位置的文本描述，与「给教师更好的图」互补。做视觉后训练的人可以直接复现这条便宜路线，代码已公开。
也要直说，这更像一个启发性的实证发现：为什么数几何图形能迁移到图表理解，论文只给了注意力可视化这类定性证据。9B 和 VL-4B 上平均只涨 1 分出头，主收益集中在最小的 4B 模型上。
模型间增益不均衡：4B 平均 +4.45,9B 和 VL-4B 只有 +1.76 和 +1.01,论文没解释差距来源。高分辨率搜索类基准几乎没动，ZoomBench +0.87、HR-Bench 4K −0.63,这恰好是裁剪类方法的强项，两派更像互补关系。9B 被迫改用 open-ended 提问，因为选择题会让它直接吐答案、没有中间 token 可监督，说明流程对提示格式敏感。主表里两个模型各跑了三种子，消融和其余结果都是单次运行；3,000 恰好是测试过的最优数据量，有凑出来的嫌疑。训练任务只有数数、提示只有一个固定模板，换任务是否同样有效没有验证。