最流畅的机器人演示也失败:平滑度指标测不出任务成败
Scobleizer · x · 2026-09-13
Voxel51 的 Hacker-in-Residence Harpreet Sahota 对 RoboLab-EgoX 数据集中 127 条「方块入碗」任务的机器人操作轨迹做了运动平滑度评分(SPARC、LDLJ 等指标),结果发现排名第 8 流畅的 episode 竟然任务失败——所有检查项全部通过,毫无异常标记。
核心结论:
- SPARC/LDLJ 这类指标衡量的是「手臂怎么动」,不是「方块是否入碗」。一条流畅却走向错误目标的轨迹照样得高分。
- 平滑度评分应该用于分诊(triage)而非验收门槛(gate):它能告诉你哪些 episode 值得人工回看,永远不能用来判断任务是否成功。
- 文章给了完整可复现流程:如何只选取单任务数据(避免下载 21.8GB 全集)、构建数据集与运动信号、评分,以及绕过 5.4 秒短 episode 的技巧。
「具身」频道最新
- UCLA 推出 ChairNav：会学习乘客偏好的自主导航轮椅 — zhoubolei · 2026-10-31
- 亚马逊 Echo 取消本地语音存储，3月28日起全部上传云端 — alex_verem · 2026-10-31
- 699 美元 Humane AI Pin 被 HP 收购后 10 天全面变砖 — alex_verem · 2026-10-31
- 800 美元儿童 AI 机器人 Moxie 停服，孩子的好友一夜失声 — alex_verem · 2026-10-31
- YC 眼镜 Subvocal 默读 200 词/分钟,4 个月做出无声对话 demo — garrytan · 2026-10-31
- Nomagic 仓库机器人进化到三臂，抓取失败会停下重新思考 — m_wulfmeier · 2026-10-31