LeRobot统一机器人评测CLI
RemiCadene · x · 2026-07-15
LeRobot 0.6.0 发布了一个统一的 `lerobot-eval` CLI，用来评估各类 VLA 机器人基准，减少过去要在多个仓库、多个环境里来回切换的麻烦。 这次新增了 6 个仿真 benchmark，并且每个 benchmark 都配了独立文档页、Docker 镜像和在 CI 中验证过的 SmolVLA baseline： - **LIBERO-plus**：约 1 万个扰动变体，覆盖 7 个维度，用来观察策略在什么条件下失效 - **RoboTwin 2.0**：50 个双臂任务，基于 SAPIEN，并在 Hub 上提供 10 万+ 可训练轨迹 - **RoboCasa365**：365 个厨房任务，分布在 2500 个程序生成的厨房里 - **RoboCerebra**：长时序任务，串联 3–6 个子目标 - **RoboMME**：记忆测试，包含计数、追踪、模仿 - **VLABench**：知识与推理任务，从物理到“冲咖啡”端到端 再加上 LIBERO、Meta-World 和 NVIDIA IsaacLab-Arena，一共已有 9 个 benchmark 家族可以在同一套工具下跑。