VLM 表征中暗藏空间结构，匹兹堡团队训练模型保留它
jiqizhixin · x · 2026-10-30
匹兹堡大学 Haoming Wang 与 Wei Gao 的研究（NeurIPS 2026 Spotlight）发现：即使视觉语言模型（VLM）的表征中外观信号占主导，空间结构信息仍然潜藏其中，可通过训练让模型更好地保留它。
- 分离外观与布局：跨帧汇聚物体特征并投影去除主导的外观方向，剩余表征能揭示原始特征中难以察觉的物体间关系。
- 约束邻近关系：在合成 3D 坐标任务上做 LoRA 训练时，对中间层加入 Dirichlet 能量正则，奖励保留空间邻域结构而非只拟合最终答案。
- 可测下游增益：在 VSI-Bench 等空间感知基准上验证了该方法带来的具体提升，整体流程可从自我中心视觉输入探测并恢复场景拓扑。
「模型」频道最新
- 科研智能体用模型调研:DeepSeek V4.1 Flash 成最热门开源模型 — AkariAsai · 2026-10-30
- 圈内人称 Gemini Argon 会做出研究者级「跳跃」，Google 疑似掌握独家诀窍 — vitaliychiley · 2026-10-30
- Alexandr Wang 晒图:Meta Muse 回答比 ChatGPT 简洁 6.7 倍 — alexandr_wang · 2026-10-30
- 算上重置次数：OpenAI 补贴策略改写性价比帕累托前沿 — RexDouglass · 2026-10-30
- 语音模型 Phonic 登顶 VAmoS 基准，agentic 语音对语音训练难度获同行认证 — graceisford · 2026-10-30
- DeepSeek 被曝仍在招募安全黑客,V4 网络安全能力引担忧 — teortaxesTex · 2026-10-30