Region-Level Policy Optimization for Fine-grained MLLM Perception
Yuheng Shi, Xiaohuan Pei, Minjing Dong, Chang Xu
cs.CV
2026-09-17
细粒度感知里定位比识别更能扛压缩。区域级RL只更新提议网络,Qwen3.5-9B六项平均80.1,4B在576 token下已超过基座4096 token的成绩。
多模态大模型看不清细粒度细节时,惯用办法是把输入分辨率拉高。视觉 token 变多,视觉编码和语言模型 prefill 一起变贵。细粒度问答其实是两步:先找到相关区域(RoI),再认里面的内容。在 ZoomBench 上用 Qwen3.5-4B 做对照实验,238 个「全分辨率能答对、只看问题答不对」的样本里,定位能扛大约 3 到 4 倍更狠的 token 压缩;框在 25 倍压缩下还能重预测对,读 crop 在 9 倍压缩就垮。
合理的推理方式是粗视图定位,把分辨率预算砸在选中的证据上。让 MLLM 自己解码坐标又贵又依赖 grounding;从响应到图像的注意力蒸一个轻量提议网络(SD-RPN)很快,但会继承注意力噪声,提出来的区域还要经过二值化和连通域,答案的梯度到不了这张图。
Vision-RL2 只更新这个提议网络,MLLM 当冻结的 reader。把 RoI 热图抽成连通区域,每个区域当一个动作。reader 对金答案做 teacher-forced,看拿掉这块之后答案对数几率掉多少,这块对答案的功能贡献就有了。不采样回复,也不走推理轨迹,n 个区域只要 n+1 次 reader 前向。
两条策略一起用。减法组在当前预测上做 leave-one-out:贡献低于用对照区域估出来的噪声边距,就压低这块的置信度;超过边距就保住。加法组从多层响应注意力里捞预测没盖住的残差区域,有正贡献就抬进图里。区域抽取不可微,信用走区域平均 logit 或平均 log 概率,回传到稠密图。另加 KL 锚在初始 SD-RPN 上,并用金答案可达性权重压低「怎么遮都答不对」的样本。
推理时提议网络看图和问题出一张 RoI,不再解码。稀疏视觉编码按前景占比把 crop 放大,只保留前景 token,位置编码仍按完整框网格算,背景不进视觉编码器和语言模型。源图 token 不重编码,提议那一趟的部分 KV 还能复用。
四个骨干:Qwen3.5 4B/9B、Qwen2.5-VL-7B、无编码器的 Gemma-4-12B。RL 数据是 VisualCoT 里筛过的 7K 题,训一个 epoch,源图训练时限 576 视觉 token。主表所有方法共享 16384 源图 token 上限。
| 模型 | V Bench | ZoomBench | 六项平均 |
| Qwen3.5-9B | 83.8 | 54.9 | 74.6 |
| Vision-OPD-9B | 90.6 | 65.1 | 78.7 |
| Gemini-3.1-Pro | 88.0 | 61.2 | 79.3 |
| Vision-RL2-9B | 95.3 | 68.4 | 80.1 |
| Vision-RL2-4B | 91.1 | 65.1 | 75.3 |
| Vision-OPD-4B | 90.6 | 59.5 | 76.0 |
9B 平均 80.1,高于表里的 Gemini-3.1-Pro 和 Vision-OPD-9B,V 和 ZoomBench 也是表内最高。4B 在这两项和 HR-Bench 上超过 Vision-OPD-4B,MME-RealWorld 落后,全文微调能改 reader 本身,冻结设计主动放弃了这块。Qwen2.5-VL-7B 平均 71.0,高于 ZwZ-7B 的 69.9;Gemma-4-12B 平均 72.8,相对 SD-RPN 的 69.0、基座的 63.3。
训练对齐协议(短答、规则打分)上,4B 在 576 token 预算下六项平均 71.1,相对 SD-RPN 的 66.6 高 4.5,相对基座的 56.2 高 14.9,并超过基座在 4096 token 时的成绩,token 大约是四分之一。区域级 RL 单独贡献 +3.0,稀疏编码再 +1.5。RPN 头接在 prefill 上,路由 31 到 49 毫秒,注意力路由或坐标解码要 1.1 到 1.8 秒。
奖励换成生成对错掉 2.3,换成原始对数概率掉 1.5,改成 cell 级保留集掉 1.2,去掉噪声边距掉 1.1,去掉加法组掉 0.9。
细粒度感知不一定要全模型 RL,也不一定要「边想边放大」。一个可复用的、解码无关的局部器,用冻结 reader 的功能分数当奖励,就能把分辨率花在证据上。只训提议头,参数比全文微调少一个数量级,四个骨干共用一套配方。
4B 在 MME-RealWorld 上落后 Vision-OPD,说明这条路换的是路由质量,不是 reader 能力。主表 80.1 和效率曲线上的 4.2 倍 token 来自两套协议,不能混着读。
没有单独的局限节。训练需要金答案,开放式或无标准答案的场景接不上这条奖励。reader 冻结,MME-RealWorld 这类要改识别本身的基准,全文微调仍更有利。加法组的候选来自响应注意力,训练仍要跑一遍生成侧注意力,并不是纯无解码。提议从 SD-RPN 出发,冷启动质量受注意力伪标签限制。多区域时裁的是外包框,稀疏编码在碎证据上能省多少,论文没有单独拆。主表用 LLM judge,消融用规则短答,两套数字不能直接比。