把 BBox 坐标熵变成 RL 奖励,8B 空间推理拿下开源第一

SpatialCORE: Confidence-Aware Grounded Spatial Reasoning in Large Vision--Language Models

Rafi Ibn Sultan, Xiangyu Zhou, Md. Sajid Alam Chowdhury, Chengyin Li, Prashant Khanduri, Marco Brocanelli, Dongxiao Zhu

cs.CV, cs.AI

2026-09-30

GRPO 后训练把 BBox 坐标熵做成奖励权重,Qwen3-VL-8B 空间推理 48.46% 开源第一,零样本也领先。

这篇在解决什么

LVLM 认物体很准,判断「台灯在女孩的哪个方向」这类空间关系却经常翻车。受 OpenAI「Thinking with Images」启发的新路线,让模型在推理链里先输出任务相关物体的 BBox 再做比较,但训练信号有个漏洞:奖励只看最终答案对不对,答案对了,整条轨迹被强化,连同那些框得很心虚的定位。Figure 1 的对照很直观,同样答对「台灯在右后方」,baseline 的候选框散布画面各处,SpatialCORE 的紧聚在选定框周围。答案对不等于框得有把握,这个被忽略的差别正是可利用的训练信号。

方法

SpatialCORE 是建在 GRPO 上的后训练框架,基座 Qwen3-VL-8B-Thinking 加 LoRA,奖励分答案、格式、空间三项,空间项是核心:

• 参考框从哪来:训练前用 GPT-4o-mini 从问题和选项里抽实体短语,滤掉「左边」「距离」这类不可框的关系词,交给 Grounding DINO 零样本检测,得到的框当 pseudo-GT,检测分数存为 validity。人工抽检 262 个框,95.8% 正确。
• 怎么打分:预测 BBox 与 pseudo-GT 框算配对分,0.8×截断 IoU 加 0.2×标签词袋余弦相似度,再乘 validity,Hungarian 匹配取一对一最优指派。标签项处理「black sedan ahead」对「black sedan」这种措辞差。
• 置信度怎么进来:BBox 坐标逐位以数字 token 生成,对每位数字算全词表熵、除以 log|D| 归一、四个坐标取平均,得到该框的不确定度 H。权重 ω=0.1+0.9×(1−H),框得准且吐字笃定的拿高分,犹豫的打折,0.1 下限保证高熵框仍有正贡献。
• 防偏科:匹配精度与 pseudo-GT 覆盖率做 α=2 的调和平均,略偏覆盖,只框一个物体的轨迹拿不到高分。

answer gate 把三项耦合起来:答案对,空间奖励全给;答案错,乘 0.3。答错的轨迹里有用的框仍拿部分分,定位能力可以先于答题能力长出来。

一个实操细节:GRPO 之前必须用 1,000 样本做 SFT 冷启动教会带框格式。跳过它,grounding 奖励一路跌到 0,模型干脆不再生成 BBox;有冷启动,95–100% 的回复全程带框。总成本约 2 张 H100 跑 31 小时。

结果

OmniSpatial(8.4K 题、50 个子类)上训练、留出集测试;SpatiaLab(1.4K 题、真实场景)完全零样本:

闭源参照里,OmniSpatial 最低的 GPT-4.1-mini 拿 48.87,Gemini-2.5-flash 53.16;SpatiaLab 上 GPT-4o-mini 为 46.50、Claude 3.5 Haiku 为 42.93。

同基座对照最干净:分布内比标准 GRPO 高 2.54 分,零样本高 1.70 分,这是置信度加权的净贡献。对专用模型优势更大,超 VST-RL-7B 7.37 分、超 SpaceThinker 8.04 分,不过对手多为 3B 级。

消融在 spatial interaction 子集上做:完整版 56.33,去掉置信度加权掉到 52.33,是最大单项降幅;去 vision LoRA 53.00,去 pseudo-GT validity 53.33,去 answer gate 54.67。

置信度本身也被校准了:训后坐标熵最低四分位样本的匹配 IoU 达 77%,最高四分位仅 36%,熵与 IoU 的相关从 +0.38 翻到 −0.42。把 40% 的 pseudo-GT 框删掉、错标或挪走再重训,仍拿 46.70,高于基座的 43.90。

为什么重要

这条线的 RL 方法此前只奖励框对不对,SpatialCORE 补上第三个维度:框得多有把握。信号免费,坐标 token 的熵本来就在那里,不需要人工标注或额外模型,对做 LVLM 后训练的人是一个即插即用的奖励 shaping 思路,62 GPU-hours 的 LoRA 成本,代码开源。也要说清:同基座净增益 2.54 分,属渐进改进,SOTA 头衔的另一半来自选了强基座、和 3B 专用模型比体量。

局限与存疑

论文自己划的边界:只改 BBox 后训练目标,不动输入表示,深度、多视角、不可框的空间概念不在射程。结果印证:allocentric 与 hypothetical 子类增益最小,SpatiaLab 的 Size & Scale 涨幅也有限,这类任务靠单视角 2D 框给不出证据。

监督源头要打折:定位的「标准答案」来自 Grounding DINO,可框样本里 71% 拿到有效参考,其余样本空间奖励为零,只靠答案和格式奖励训练。95.8% 的抽检精度和抗 40% 腐坏的实验说明管道可靠,但奖励上限被检测器上限压着。

与闭源模型比,OmniSpatial 的 48.46 仍低于四个 proprietary 参照中最低的 GPT-4.1-mini(48.87),「进入闭源性能区间」的表述偏客气;SpatiaLab 上倒是真超过了 GPT-4o-mini 和 Claude 3.5 Haiku。

术语

• generated grounding(生成式定位):模型在推理过程中自己输出 BBox 等定位结果,作为推理链的一部分。
• GRPO:组相对策略优化,同一提示采样一组轨迹、用组内奖励标准化估计优势的 RL 算法。
• pseudo-GT BBox:用外部检测模型离线生成的参考框,在奖励计算里充当定位标准答案。
• REC(Referring Expression Comprehension):按自然语言指称在图中定位物体的任务。
• IoU:交并比,衡量两个框重叠程度的标准度量。
• 坐标 token 熵:BBox 坐标逐位生成时数字 token 的全词表香农熵,归一化后代表该框的不确定度。

原文与代码

• arXiv 2609.38716v1
• PDF
• Hugging Face
• GitHub · https://github.com/rafiibnsultan/SpatialCORE

相关论文

• 比PMT的AP高4.6,LVMT速度仍约95FPS
• 5秒训练、chunk为1,RMD在60秒总分高10分
• 港科大、Noiz：单卡24帧世界模型，立体声跟镜头转
• 用微调的4B模型管理空间记忆,历史删掉83.7%仍更稳
• 用无动作视频直接预训练动作策略，真机十五次成功十四次
• 八叉树当 3D 语言喂给 LLM:描述涨 28.7 分，MMLU 不掉

全部论文解读