Spatial Harness 用物理引擎可执行场景给 VLM 空间推理「落地」
TMLR-Group-HF · hf · 2026-11-10
香港浸会大学 TMLR Group 与字节跳动 Seed 提出 Spatial Harness，改进视觉语言模型的空间推理。方法不再依赖模型内部「脑补」场景与变换，而是显式构建可执行的世界状态：Perceiver 把从问题中提取的场景约束与专门视觉估计整合，将物体和相机放置到共享坐标系，实例化进物理引擎；Reasoner 在其中模拟视角变化，用测量值与渲染视图引导回答，确保想象的空间变换满足真实物理约束。
「研究」频道最新
- 贝叶斯实验设计新预印本：用 Sibson α-互信息应对模型误设 — canaesseth · 2026-11-10
- François Fleuret 提问:SOTA Transformer 的关键现代特性还有哪些 — francoisfleuret · 2026-11-10
- NBER 论文:发展经济学约三分之一显著发现可能是假阳性 — gleech · 2026-11-10
- 仅 50 条样本微调 Dream-1，机器人即在新本体上完成拔 USB 任务 — IsaiahBallah · 2026-11-10
- Frontier3DBench：145 个任务实测编码智能体能否替代 3D 视觉管线 — Aiden_Tech_Ai · 2026-11-10
- JEPA 是「新瓶装旧酒」？Darcet 称 iBOT、data2vec 早就是它 — TimDarcet · 2026-11-10