NVIDIA SpatialClaw:代码即动作接口,免训练提升 VLM 空间推理
NVIDIA 团队发布论文 SpatialClaw: Rethinking Action Interface for Agentic Spatial Reasoning,核心主张是「代码才是空间推理的正确动作接口」,该工作已被 NeurIPS 2026 接收。框架免训练、无需针对模型定制,让视觉语言模型(VLM)以智能体方式完成 3D/4D 空间推理,在 20 个空间推理基准上为多款前沿模型带来平均 11.2 分的显著提升,其中 GPT-6 Astra 达到 71.3 分,四款前沿模型最多提升约 15 分。
已确认
- 方法上,VLM 每一步写一个 Python cell,先检查 SAM 分割、深度、几何等中间输出,再修订并作答,而非一次性锁定分析策略
- 作者指出现有空间智能体的两条路线各有缺陷:单次代码执行在看到中间结果前就锁定策略;结构化工具调用灵活性不足、难以自由组合操作
- 同一套「代码即动作接口」框架(harness)可通用于多个前沿模型,无需训练或模型定制
- 据作者致谢推文,研究由 Seokju Cho 在 NVIDIA 实习期间主导,合作者包括 Ryo Hachiuma、Abhishek Badki、Hang Su、Byung-Kwan Lee 等
为什么重要
- 该工作表明空间推理能力的提升可以不依赖微调,而通过更合理的动作接口设计获得,对构建空间智能体具有直接的工程参考价值
- 免训练、模型无关的特性意味着该框架可即插即用地套用在多个前沿 VLM 上,具备较好的泛化潜力
2026-09-29 ~ 2026-09-30 · 5 条相关
一手来源
- SpatialClaw:让 VLM 智能体用 Python 做空间推理,免训练提升 11.2 分 — _akhaliq ·
- SpatialClaw 中选 NeurIPS 2026,四款前沿模型空间推理最多提升 15 分 — CMHungSteven ·
- SpatialClaw 致谢帖:研究出自 NVIDIA 实习期间 Seokju Cho 主导 — CMHungSteven ·
- NVIDIA SpatialClaw 入选 NeurIPS:单一框架让多个前沿模型空间推理大涨 — CMHungSteven · 2026-09-29
- 【源头】SpatialClaw 中选 NeurIPS 2026,四款前沿模型空间推理最多提升 15 分 — CMHungSteven · 2026-09-29
- SpatialClaw 论文:以代码为动作接口,让 VLM 更灵活地做 3D/4D 空间推理 — CMHungSteven · 2026-09-29
- 【源头】SpatialClaw 致谢帖:研究出自 NVIDIA 实习期间 Seokju Cho 主导 — CMHungSteven · 2026-09-29
- 【源头】SpatialClaw:让 VLM 智能体用 Python 做空间推理,免训练提升 11.2 分 — _akhaliq · 2026-09-30