Scale AI 开源 1700 小时双臂机器人数据集,子任务标签实现跨机器人迁移

yacinelearning · x · 2026-11-18

一期与 Scale AI 研究工程师 Jade Choghari 的深度访谈,介绍 FineART 数据集与 FineART-VLA 策略。

核心问题:多数机器人数据集整段episode只给一条指令(如「清理桌子」),模型要自己判断每一步的起止,非常困难。

FineART 的做法:1700 小时双臂数据,每一步子任务都由人类用自然语言标注(53.4 万条标签,全程无 VLM 参与)。这些子任务标签对策略塑造作用巨大——没有标签时,即便有大模型视觉语言骨干,模型连左右垃圾桶都分不清;有标签后,用语言学到的步骤可迁移到完全不同的机器人上,甚至能完成从未在该平台练习过的长链条早餐任务,还会复用只在旧机器人上见过的「调整」动作。

访谈还深入 Scale AI 的数据采集幕后流程、子任务如何定义、标注的审核轮数、知识隔离为何能保护 VLM 骨干、ABC 基线为何崩溃而 FineART 持续上升,以及 sim+遥操作+人类视频数据应如何混合等话题。

所属事件:Scale AI 开源 1700 小时双臂机器人数据集,子任务标注助跨机器人迁移(3 条相关)→

原文链接 →

「具身」频道最新

更多「具身」频道 AI 资讯 →