清华等发布 HandsOn 基准：多任务灵巧操作最佳策略仅 29.1% 成功率

jiqizhixin · x · 2026-11-05

清华、北邮、北大与 NatureWill 的研究者在 arXiv 发布 HandsOn——一个双手灵巧操作仿真 benchmark，回答「为什么机器人能抓对物体，却在双手协同、保持先前目标时失败」。

瓶颈：抓取只是工具使用的一部分，接触、交接时机、同时维持两个目标状态，任何一环都能让原本可行的尝试失败
数据与任务：18,000 条精选人类演示 + 66 个人工校验任务；Core-50（50 任务）测有演示支撑的执行，Transfer-16（16 任务）不给目标任务的训练演示，测新资产、技能组合与可变形物体的泛化；分阶段检查定位失败点
结果：最佳多任务策略在 Core-50 上任务平均成功率仅 29.1%，八个训练出的多任务策略全部在双手协同与目标保持上翻车；GPT-6 (moveef) 提示的 VLM 无 HandsOn 训练仅 5.2%，Transfer-16 上 1.9%
典型失败模式：工具过早激活、双手失同步、目标维持不稳、阶段顺序错误

「具身」频道最新