Xiaomi-Lens-0 Technical Report
Pei Fu, Yike Liu, Yue Sun, Hanmo Wang, Xiuwen Xi, Ruoceng Zhang, Shaojie Zhang, Chao Jiang, Hang Li, Bingrui Liu, Zhenbo Luo, Heng Qu, Changjian Xu, Ming Xu, Jian Luan
cs.CV
2026-10-16
小米基于 Qwen3.5 的 4B 多模态模型从自身视觉特征解码 mask、让监督回流主干，指代理解八个 split 平均涨 5.6 分，感知基准全面超底座。
多模态大模型答整图问题像样，一问到具体区域就露馅：挨着的物体数不清，小块区域的属性认不准。小米团队把根因归到纯文本监督：训练信号全部来自文字答案，没有任何损失告诉模型「答案由哪些像素支撑、区域边界在哪」，bounding box 只能给个粗矩形，装不下形状。
做指代分割(RES)的模型早就在用 mask 监督，但空间细节大多来自外挂组件：LISA、Sa2VA 挂层级分割编码器，Qwen3-VL-Seg 融合补充编码器的多尺度特征；PixelLM、MLMSeg 从自家视觉编码器解码，却把编码器冻住，mask 损失到不了共享表示。这篇要验证的问题：把 mask 监督直接压到 MLLM 自己的视觉表示上，收益能不能溢出到分割之外。
Xiaomi-Lens-0 基于 Qwen3.5,4B 规模，只外挂一个很小的解码头，关键在取特征的位置。
「Thinking with visual latents」是这套机制的推论:CoT 每提到一个区域就插一个 <|mask|> token,latent 被解码成 mask 并接受监督，数数题可以逐个实例给 latent,空间比较给两个对象各配一个。配套数据管线验证环节很重：指代数据先定目标再合成指令，重 grounding 确认指令唯一选中该目标才保留；推理数据由 MLLM 出题、独立模型盲答校验，推理模型生成带 box 引用的 trace,box 再配上实例 mask 或 SAM 3 补的 mask,IoU 达标才收。推理时 mask 是纯输出分支，不回喂语言模型。训练分两阶段：先冻结主干单训解码器，再全量联合微调。
REC 上，RefCOCO/RefCOCO+/RefCOCOg 八个 split 全面超过底座，平均涨 5.6 分，RefCOCO+ 平均涨 7.6;与基线比七个 split 第一，RefCOCOg test 以 0.5 分之差居第二。更严阈值下优势放大：IoU 0.95 处对底座增益 15.516.8 分，框是真放准了，不只是选对目标。
| 任务 | 指标 | Xiaomi-Lens-0 | 对照 |
| RES 八 split | cIoU 平均 | 81.4,全部第一 | 最强基线 Qwen3-VL-Seg 78.6,SAM 3 被超 7.012.9 |
| COCO 2017 多实例 | F1@mIoU | 63.9,第一 | GroundingPI 63.0,GroundingDINO 60.6 |
| ReasonSeg test | gIoU/cIoU | 68.0/62.5 | InstructSAM 被超 6.9/1.5 |
| RoboRefIt gIoU | TestA 87.0,TestB 81.5 | 超最强基线 4.5/7.1 | InstructSAM |
纯文本作答的感知基准也全超底座：
| 基准 | Qwen3.5 底座 | Xiaomi-Lens-0 | 增益 |
| MME-RW-cn | 60.3 | 67.5 | +7.2 |
| CountQA | 43.8 | 50.6 | +6.8 |
| V | 82.2 | 87.4 | +5.2 |
| HR-8K | 75.6 | 80.6 | +5.0 |
| CV-Bench | 85.4 | 88.1 | +2.7 |
消融把贡献拆开了：BBox-only 变体已在 REC 超底座 3.14.9 分，加 mask 监督再涨 1.12.4(RefCOCO+ 最多)，感知指标全部再涨。grounding 数据贡献绝大部分增益(grounding-only 在 RefCOCO val 已到 94.5),grounded reasoning trace 只再添 REC 0.10.6、RES 0.50.8,增量集中在 mask 质量。
自建 LensBench 用 1200 个配对单元(每图两种真值 mask × 显式/隐式共四种指令，覆盖通用、航拍、驾驶、全景四域，全量人工复核)考察指令语义变化。显式指令领先(cIoU 71.4);隐式掉到 54.7 排第五，输给 Qwen3.8-Max(64.5)、GPT-5.6-Sol、Gemini-3.6-Flash、Seed-2.1-Pro。航拍域优势最大(cIoU 57.1,超最强基线 7.0),通用域 63.9 输给 Qwen3.8-Max 的 74.2。
这篇补齐了一条因果链：mask 损失经共享 patch 特征和 latent 状态回流主干，BBox-only 消融证明增益真实存在，且外溢到 CountQA、V 这类纯文本作答的基准。对做 grounding 的团队，「不加分割编码器、mask 监督直通共享表示」是可直接复用的配方，4B 规模在 RES 上压过 LISA-7B、Text4Seg-8B 这些带专用编码器的方案。LensBench 的配对设计(同图同真值，只变措辞和目标数)把「选错目标」和「mask 画不准」拆成两个可分别观测的量，这个评测思路本身有参考价值。
隐式指令是最大短板：显式到隐式 cIoU 掉 16.7 分，全景图多目标场景 [email protected] 从 81.3 掉到 48.7,作者把这列为遗留难题。「think with visual latents」的名头跑在数字前面：mask 不回喂，推理时模型看不到自己解码的区域，这套机制的作用是训练时有监督、输出可检查，和 o3 式裁剪缩放图像的交互不是一回事，且 trace 数据的量化增益很小。多实例 grounding 在 IoU 0.50 的 F1(80.4)仍低于 GroundingDINO 和 GroundingPI,优势集中在高阈值的框精度。数据侧出题、校验、补 mask 全靠模型互检(SAM 3、MLLM、推理模型)，误差会不会系统性带进训练集，论文没有量化；主结果取三个 checkpoint 等权平均，方差未披露；LensBench 由作者自建自评，对比模型全部由作者统一评测。