Soft Spatial Reasoning
Rafi Ibn Sultan, Md. Sajid Alam Chowdhury, Saleh Zare Zade, Chengyin Li, Prashant Khanduri, Marco Brocanelli, Dongxiao Zhu
cs.CV, cs.AI
2026-09-30
CoT 中间步用 token 嵌入混合代替选词，AdaptSoft 控制器按步调软硬：OmniSpatial 平均 49.68,比固定软思考高 2.75 分，零样本基准同样领先。
问「红球在黄椅子的什么方位」，画面里可能有两个红东西：一个在椅子上，一个悬在半空。LVLM 做 chain-of-thought 时每步都必须从词表里挑一个具体 token 写下去，它可能第一步就写下「椅子上的是球」，后面全部推理都压在这个未必正确的判断上。论文把这叫 premature discretization(过早离散化)：空间解释还没定，输出已经锁死，错误沿 CoT 一路传播。
现成解法是 soft thinking:中间步不选词，把候选 token 的 embedding 加权混合成连续状态喂给下一步。但固定软度有矛盾：候选有时是同一合理解释的延续，保留有价值；有时编码互相冲突的空间关系，混着反而污染后续推理。合适软度随步骤变，固定温度做不到。
框架叫 Soft Spatial Reasoning,在 Qwen3-VL-8B-Thinking 上做 post-training,三个部件：
同 backbone、同 post-training 配置的对照(加权平均准确率)：
| 方法 | OmniSpatial | SpatiaLab(零样本) | MindCube(零样本) |
| Qwen3-VL-8B-Thinking(原模型) | 43.90 | 44.78 | 33.62 |
| Hard Thinking + GRPO | 45.92 | 46.21 | 未报告 |
| Soft Thinking + GRPO(固定软度) | 46.93 | 46.86 | 未报告 |
| Soft Spatial Reasoning | 49.68 | 48.71 | 38.13 |
OmniSpatial 上固定软思考只比硬思考多 1.01 分，自适应再拿 2.75 分。Geometric Reasoning 最能说明问题：硬思考和固定软思考都停在 25.00,自适应到 34.84;Motion Analysis 也从 55.85 升到 62.14。对外部模型，49.68 领先 InternVL3-14B(45.94)3.74 分、SoFar(45.14)4.54 分、LaCoT(45.66)4.02 分，为非专有模型最高；Traffic Analysis 相对原模型涨 21.61 分。两个零样本基准同样保持非专有第一(SpatiaLab 超 LVR 2.93 分)，48.71 还略高于该表内全部专有参照。
消融在 Perspective Taking 上做：去掉梯度对齐掉 4.07 分(其中 Hypothetical 掉 6.52),去掉 hidden state 输入掉 3.53 分，去掉熵输入掉 2.11 分，去掉梯度中心化掉 1.57 分。步级 credit 确实在干活。
行为分析有个反直觉点：预测熵越高，AdaptSoft 给的温度反而越低(中位数从 0.590 降到 0.350,相关系数 -0.613)。候选越冲突，控制器越收窄，论文的解读是限制冲突解释互相污染；同一熵档内温度的 10–90 分位差仍有 0.18–0.20,说明 hidden state 承担了熵之外的判断。训练全程温度均值钉在 0.5 附近，min-max 跨度从 0.23 涨到 0.58,单条 CoT 内部温差(中位 0.235)约为不同 CoT 之间(0.093)的 2.5 倍：学到的是按步分化，不是整体变软或变硬。
第一个专门面向 LVLM 空间推理的 soft thinking 框架，可复用的却是两件更一般的东西：一是「固定软度不够、要按步调」这个问题定义，配上一个便宜的控制信号(hidden state 加熵)；二是梯度对齐目标，给任何只有最终奖励、没有过程标注的步级控制器训练提供了模板。训练量不大：8 张 H100、200 步、OmniSpatial 6,902 条约 2 个 epoch,代码开源，做具身、导航、3D 理解的团队可以直接当 post-training 增量用。匹配对照下 2.75 分属于渐进改进，但消融把增量归因拆得干净。
作者自述：AdaptSoft 没有对视觉证据不确定性的显式度量，软度只反映语言侧的模糊。
读下来还有几处存疑：单一 8B backbone、单一训练集，更大规模是否成立未验证；OmniSpatial 上仍低于 o4-mini(52.77)等最强专有模型，MindCube 上 38.13 落后 Gemini-2.5-Pro(47.05)近 9 分，空间心智建模差距明显；论文没报推理开销(soft 步每步要做 top-5 混合和 Gumbel 采样)，也没查 post-training 后非空间能力有没有退化；「熵高降温」的因果解释是对相关性证据的合理猜测，没有直接验证。