匹兹堡大学发现VLM中间层藏三维空间地图，微调后空间推理提升12.1分
机器之心 · wechat · 2026-10-20
匹兹堡大学Haoming Wang与Wei Gao的研究把视角从VLM的最终答案转向隐空间，考察模型内部是否形成包含邻接关系的三维空间结构。论文被NeurIPS 2026录用为spotlight。
方法：
- 利用合成场景对象掩码，按覆盖比例加权汇聚视觉token并跨时间平均，得到物体级表征。
- 对同一身份物体跨场景平均以抵消位置成分，估计颜色、形状等稳定身份属性，再用SVD找出属性方向并投影掉，只保留位置相关变化。
- 用PCA把分离后的表征投影到三维，与真实布局并排比较。
发现：中间层表征更清晰地保留场景结构，物体排列与邻接关系对应更明显；较早层偏视觉特征，较后层服务语言输出。用Dirichlet能量检验邻域关系，中间层能量比率更低，剔除外观属性后趋势更明显。团队进一步证明最小化Dirichlet能量的最优表征在去均值PCA后呈拉普拉斯特征映射，为可视化提供数学依据。沿空间相关方向扰动会定向改变坐标探针读数，对照方向无同等响应。
应用：将Dirichlet能量加入微调目标，在选定中间层做500步LoRA微调，Qwen2.5-VL-7B在VSI-Bench简单相对方向任务上准确率从普通LoRA的47.9%升至60.0%，提高12.1个百分点。
「研究」频道最新
- BottleCap 发 ThinkingCap 版 Qwen3.8-Flash-Next,思考 token 平均省 38.5% — Thom_Wolf · 2026-10-23
- DLOSAC:用 Delaunay 三角剖分引导的局部优化改进 RANSAC 几何估计 — zhenjun_zhao · 2026-10-23
- 新基准论文：用 3D 基础模型重建地理多样化建筑 — zhenjun_zhao · 2026-10-23
- FineSplat：细粒度图像块前馈 3D 高斯泼溅，重建精度大幅领先 — zhenjun_zhao · 2026-10-23
- ReDT：分辨率解耦视觉几何 Transformer，2K 重建提速 16 倍 — zhenjun_zhao · 2026-10-23
- 因果时空 Mamba：单目视频前馈 4D 重建新框架 — zhenjun_zhao · 2026-10-23