Lance 数据格式获 Hugging Face LeRobot 原生支持，机器人训练免下载直读对象存储

lhoestq · x · 2026-09-15

Hugging Face LeRobot 已合并 PR #4363，原生支持以 Lance 格式存储的机器人数据集。借助 LanceDB 的 map-style 读取器，可以直接从 S3、GCS 或 HF Storage Buckets 流式读取数据训练，速度接近本地磁盘，且保持真正的全局 shuffle，而无需先下载完整机器人数据集——此前上游唯一远程方案是 IterableDataset，只能做窗口化 reservoir shuffle。LeRobotDataset 仍是唯一的公开数据集类，接口不变。