Reframe: Observation-Aligned Multi-Teacher On-Policy Distillation for Agentic Visual Reasoning
Haozhi Yuan, Handong Li, Yifan Zhang, Qianshan Wei
cs.CV
2026-11-10
Reframe在Qwen3.5-9B上做观测对齐蒸馏,图像均分69.48,工具增益+5.23。
视觉 agent 会裁图、抽帧,后续推理却经常不用工具回传。这叫 observation neglect(观测忽视):中间画面拿到了,预测几乎不随它变。
MOPD(多教师在策略蒸馏:学生自己采样,专精教师按 token 给稠密反馈)还有一层限制。教师评分时面对的是学生已经取得的画面。裁错、抽错之后,token 损失补不回错过的证据。
图像和视频若混在一次训练里,统一模型往往落后单模态专家。离策略 SFT 把两种工具习惯搅在一起,RL 又只给整条轨迹一个奖励。Reframe 拆成两段,都不做任务 SFT 冷启动。
底座是 Qwen3.5-9B,工具只有 CropImage 和 SelectFrames。Reframe-100K 含 63K 图像问答、37K 视频问答。标注框宽高按中心放大 1.5 倍,时间段两端各延一帧。纯文本可答的样本删除;全图和「只给证据」各采样 8 次,过易、过难或证据撑不起答案的剔除。两阶段共用这份语料。
GD-GRPO 分开训练空间专家和时序专家。奖励同时看答案、工具调用、定位质量和格式。定位用 IoU(预测和标注的交并比):图像沿轨迹做全局一一匹配,同一目标反复框不计多次;视频只评最近一次抽帧,后一次尝试要打折。定位对了就给分,不管答案对错。调用奖励随训练进度衰减。
裁得准仍可能靠原图作答。第一次调用成功后,训练以概率 0.5 丢掉原始视觉输入,问题和回传保留。推理时原图始终在。优势在预先采样的丢弃标记子组内归一化,分组不取决于模型是否真的调用了工具。
OG-MOPD 把两位专家并到一个学生上。工具动作缺失、非法,或与标注的 IoU 低于阈值,就换成标注导出的规范动作,学生从新画面继续生成。学生自己的 token 走 MOPD;注入的动作 token 用负对数似然学习。推理时不替换动作,也不调用教师。
| 方法 | 图像均分 | 视频均分 |
| Qwen3.5-9B | 63.46 | 49.75 |
| Image-RL | 67.92 | 50.39 |
| Video-RL | 66.35 | 52.78 |
| Mix-RL | 66.75 | 51.41 |
| 普通 MOPD | 68.19 | 52.32 |
| Reframe | 69.48 | 53.10 |
Image-RL、Video-RL 是单模态的 GD-GRPO 专家。Mix-RL 用同一奖励混合两种数据,图像和视频仍低 1.17、1.37,只留下专家增益的 74% 和 55%。普通 MOPD 保住专家增益的 106% 和 85%,14 项里 5 项超过对应专家。修复再加 1.29(图像)和 0.78(视频)。相对普通 MOPD,VisualProbe 从 52.62 到 57.48,涨幅最大。相对基座,VisualProbe +13.60,ZoomBench +9.35,V +7.85。
只奖对错、不丢原图的 GRPO(在一组采样里算相对优势),图像均分 65.85,开工具 +1.97。GD-GRPO 为 67.92、+3.82,关工具只高 0.22。V 观测依赖从 52.59 到 69.03。算法是:随机裁图与空白图平均造成的错误里,换上真值裁图后改对的比例。GT、Random、Blank 上分别再高 5.23、3.67、3.14,最大一块在真值画面。
对外表里 Reframe 图像 69.48、视频 53.10,比最强外部模型高 11.71 和 8.86。Qwen3.5-9B 裸分已是 63.46 和 49.75,高于 Pixel-Reasoner、Thyme、DeepEyes、DeepEyesV2 的最终均分。更能比的是工具诊断:观测依赖 75.53,对照最高 41.93。原图仍在时,真值裁图 96.86,随机裁图 85.86,空白 88.48。七个图像基准的工具增益 +5.23,对照最高 +1.47,DeepEyesV2 为 -2.45。总增益里约 87% 来自开工具,无工具分是 64.25。
Video-RL 把图像均分抬到 66.35。Image-RL 只把视频均分抬到 50.39。
代码、数据和模型公开。混合 RL 保不住专家增益;分开用 GD-GRPO 把「看回传」训进专家,再以稠密监督合并,均分可以略高于两位专家。
抬起来的是工具使用。无工具准确率几乎不动。观测门控相对普通 MOPD 大约 1 分,而且要有框或时间段标注才能生成规范动作。没有这类标注,第二阶段不能原样搬到新任务上。
阈值和奖励系数正文没给。依赖只测 V,工具增益只平均七个图像基准,视频没有平行数字。评测是 greedy。
四个外部 agent 的绝对分落后,很大一块是底座。共享视觉 token 预算没有对齐起点。引言认为 SFT 再接 RL 会落后,表里没有这条直接消融,对照只有 Mix-RL 和普通 MOPD。
均分超过专家,分项不全赢。HR-Bench-4K 上图像专家 85.25,Reframe 84.75;PerceptionBench 是 36.23 对 36.07。视频均分只高出视频专家 0.32,MVBench 和 MLVU 仍是视频专家领先。注入动作改写了后续历史,这一步离开了严格的 on-policy。这些动作在推理时被学生自己写出的比例,正文没有单独给出。