机器人中心点图提升VLA策略
kaist-ai · hf · 2026-07-20
KAIST AI 提出了一种面向视觉-语言-动作模型（VLA）的 robot-centric pointmaps。
要解决的问题
VLA 通常从相机坐标系观察场景，但机器人动作是在机器人自身的三维坐标系里定义的。数据一旦来自多种相机位姿，这种坐标系不匹配会更严重。
方法思路
- 用每个像素存储机器人坐标系中的 3D 坐标来表示图像
- 保留预训练 2D VLA 期待的 H × W 稠密网格结构
- 能以很小的架构改动接入现有 VLA
实验结果
- 在 RoboCasa 上，pointmaps 提升了 pi0.5 和 SmolVLA 的表现
- 优于相机视角基线和若干 3D 感知基线
- 真机实验里，当相机位置换到训练中没见过的地方时，优势更明显
「具身」频道最新
- Skyfall AI 推出工程世界模型 SKY-001:文本转 CAD 构建,3.9 秒 vs GPT-6 的 199 秒 — rohanpaul_ai · 2026-10-27
- 欧洲第10国拉脱维亚批准 Tesla FSD,马斯克称赞小国审批最快 — elonmusk · 2026-10-27
- WanGP v18.81 支持 Hy-Nomas 世界模型，8GB 显存可用 WASD 探索 — cocktailpeanut · 2026-10-27
- NVIDIA 开源 FLORA：机器人数据引擎，成本仅 GPT-6 Astra 的 1/125 — nvidia · 2026-10-27
- 具身智能创业的隐藏难题：机器人公司需要另一种运营纪律 — ___Mufasaa · 2026-10-27
- π0.5 实验：演示数从 10 增至 438，放球入碗成功率 7%→83% — stingning · 2026-10-27