WeVisOne-VL: Unified Visual Perception from Objects to Pixels
Tianming Liang, Junyi Pan, Yuxi Li, Canmiao Fu, Zhipeng Huang, Chong Sun, Chen Li, Jing Lyu
cs.CV
2026-10-22
腾讯基于 Qwen3-VL 训练 2B 与 4B 模型,用坐标词表和 960 万参数解码器统一检测、分割与抠图。4B 在密集小目标基准 Dense200 上平均 F1 为 71.3,目标缺失时拒绝率 67.4%。
通用视觉语言模型能说出图里有什么,一问位置、个数和像素边界就不稳。不存在的物体会被框出来,不显眼的实例又经常漏掉。检测器和 SAM 系列更稳,可是框、点、掩码和连续透明度各走各的模型,换一种输出就要再串一条链路。
微信视觉团队基于 Qwen3-VL 做了 WeVisOne-VL,分 2B 和 4B。同一次自然语言交互,按需要返回点、框、二值掩码或 alpha 抠图。不同任务得对准同一个实例。目标确实不在图里时,模型还得交出空结果。
数据引擎约 1 亿张图、36 亿个框,底料包括 GRIT、CC3M、LAION 和 SA-1B。类别与指代放进同一知识图谱,用来决定补哪些图。检测框由 SAM3 和内部 DINO 式检测器一起出,Qwen3-VL 核对并去重。指代框由 SAM3 Agent 和 Rex-Omni 出,再核对属性、状态、动作和关系。SAM2 补可见区域掩码并继承原查询,框和掩码因此是同一实例。
负例必须整图都不满足全部条件。检测器没出框不算数,可能只是漏检。当前模型仍画出框,才记为 hard negative,标签为空。错例经人工复查才改标签,模型有异议不会自动改标。
抠图由 BiRefNet 和 MatAnyone2 在粗掩码上收 alpha,对不齐就退回二值掩码,再用冻结的 SAM2.1-Base+ 加细化头把语料回标成连续透明度。
输出是结构化的下一个 token。坐标用专用 token <0> 到 <1000>,一个框四个;没有目标填 None。像素任务在框后加 <OBJ>,隐藏状态代表该实例。约 960 万参数的解码器读多层 ViT 特征、该状态和预测框,经 6 层可变形注意力和动态卷积核得到全图掩码,再三步上采样修细边。推理不外挂 SAM。
微调分三阶段。阶段一约 9020 万条、1.3 万步,只训语言模型,单类最多 50 个框,避开密集样本造成的复读崩溃。阶段二约 4180 万条、9000 步,解冻视觉编码器,视觉 token 上限 1960,单条最多 500 个框。阶段三用 2.5 亿条分割样本把解码器预热 10 万步,损失为 20 倍 focal 加 Dice;预热后只留解码器和 <OBJ> 词向量,接回阶段二的检查点,再以 1:1 交替文本与像素损失。然后冻结语言模型,用 1.3 亿条抠图样本把解码器再训 10 万步,99.8% 来自该引擎。GRPO 用分数 4μ(1-μ)σ 挑选约 14 万条不确定样本,补到 17.8 万,每条提示采样 8 个完整输出。奖励取匹配框 IoU 的三次方,除以预测数与真值数之和,漏检和重复都罚。负样本只有拒绝预测才得分。分割和抠图的强化学习只看框。
评测为贪心解码、温度 0、每图至多 1960 个视觉 token。没有可校准置信度,检测报 F1,不报 AP。COCO 和 LVIS 按 zero-shot。Qwen3.5 打开 thinking,因为该设置在论文的评测里更高。下表是 IoU 从 0.5 到 0.95 的平均 F1。
| 基准 | 4B | 2B | 对照 VLM | GroundingDINO-T |
| COCO | 57.1 | 55.2 | LocateAnything-3B 54.7 | 56.6 |
| LVIS | 55.3 | 53.3 | LocateAnything-3B 50.7 | 38.8 |
| Dense200 | 71.3 | 61.4 | LocateAnything-3B 58.7 | 33.1 |
| VisDrone | 44.7 | 40.4 | LocateAnything-3B 39.9 | 38.5 |
COCO 上 4B 比 GroundingDINO-T 高 0.5。IoU=0.95 时 4B 为 19.5,GroundingDINO-T 为 23.0。密集场景拉开距离:Dense200 上 Qwen3.5-4B 为 18.9,和 71.3 不在一个量级。
RefCOCOg 测试集平均 F1,4B 为 81.8,2B 为 78.2,LocateAnything-3B 为 77.6,Qwen3-VL-8B 为 74.9。缺目标拒绝率上,RefCOCOg-Rej 的 4B 为 67.4%,2B 为 50.2%,Qwen3-VL-8B 为 22.5%,Rex-Omni 和 LocateAnything 不到 1%。自建 WeRefBench 有 2880 条中英查询,4B 平均 F1 为 78.7、拒绝率 96.4%,LocateAnything 为 51.7 和 73.0%。
计数按精确匹配,差一个即错。PixMo-Count 验证/测试,4B 为 93.7%/89.6%,LocateAnything 为 88.7%/82.8%。MixCount 为 42.0%/40.4%,对照为 12.5%/15.2%。CountQA 上 4B 为 57.1,LocateAnything 为 52.4,2B 为 47.9。
PointBench 上 4B 为 71.9,Rex-Omni-3B 为 69.9。PixMo-Points 上 4B、2B、Rex-Omni 为 74.7、73.2、72.9。
OCR 要求转写完全一致,并且框要过 IoU。4B 平均 F1 为 HierText 39.0、ICDAR2015 47.8、TotalText 52.0、SROIE 68.1,PP-OCRv5 为 30.5、25.6、25.7、58.6。IoU=0.95 时各家仍是个位数。
RefCOCO 的 cIoU,4B 为 81.4/84.5/80.1,UniPixel-7B 为 80.8/83.0/77.4,领先多在 2 个点以内。ReasonSeg 上 4B 不用思维链,gIoU 为 71.2/66.8,表中 LISA-13B 微调版为 65.0/61.3。Ref-ZOM 上 4B 拒绝率 86.0%,cIoU 72.2,GSVA-7B 拒绝率 41.9%,UniPixel 为 0.3%。掩码重叠的领先有限,拒答的差距更大。
抠图越低越好,MAD 已乘 1000。P3M-500-NP 与 PPM-100 把真值框当作提示,各方法同一起跑线,测的是给定框之后的边缘。P3M 的 MAD 为 2B 6.6、4B 7.3,SAM2-Matting(SAM3)为 15.4。PPM-100 的 SAD,2B 为 49.3,4B 为 57.2,SAM2.1-Base+ 为 92.9。语言条件下找目标再抠图,看自建集 WeRefMat:4B 的 SAD 为 39.0,Qwen3.5-9B 接 SAM2-Matting 为 82.3,SAM3 文本定位为 162.2。P3M 和 PPM-100 上 2B 好于 4B。
检测、计数、OCR、指代分割和语言抠图共用一个接口。像素解码器约 960 万参数,推理不用再挂 SAM。代码和权重已公开。
相对 Qwen3-VL、Qwen3.5、Rex-Omni 和 LocateAnything,差距集中在密集检测、计数、OCR 和拒答。相对 GroundingDINO,COCO 平均 F1 只高 0.5。RefCOCOg-Rej 从不到 1% 到 67.4%,空目标可以写进同一次结构化生成。
论文承认四点。感知训练可能损到底座的通用能力,但没有 MMMU 之类的对照。模型直接输出结构,不做思维链,复杂推理会弱。只有单轮,多轮工具调用留到以后。基准提示清楚、无歧义,真实指令含糊,意图理解不在评测里。
分割和抠图的强化学习不看掩码和 alpha,像素质量主要来自监督阶段。标签大多来自 SAM3、SAM2、Qwen3-VL、Rex-Omni 和抠图专家,人工抽查有限,也没有去掉某一路专家的消融。拒答和语言抠图里最醒目的数字,有一部分在自建的 WeRefBench 和 WeRefMat 上;公共集方向一致,绝对数不宜只记自建集。坐标量化到 1000 档,COCO 上 IoU=0.95 的 F1 仍是 19.5。全文没有延迟和显存。