专题 · FULL STORY

HandsOn 基准发布：GPT-6 Astra 灵巧手实测惨败

为度量通用灵巧操作模型进展，团队 10 月 27 日发布并开源仿真平台与基准 HandsOn，显示当前最强模型仍有差距；随后团队用该基准零微调评测 GPT-6 Astra 操控灵巧手，500 次尝试成功率仅 5.2%。

2026-10-27 ~ 2026-10-27 · 2 集 · 7 条

第 1 集 · 灵巧操作基准 HandsOn 发布并开源(2026-10-27,5 条)

为度量 Natura-1 等通用灵巧操作模型的进展，@stingning 团队于 10 月 27 日发布并开源了仿真平台与基准 HandsOn，结果表明当前最强策略距离通用灵巧操作仍有巨大差距。

已确认

  • 基准包含 66 个人工核验任务（50 个核心 + 16 个迁移）与 18,000 条精选人类演示，数据集约 56 小时，全部在仿真中采集，带三个同步视角，经重渲染与 prompt 随机化增强；数据集划分为 15,178 条训练与 2,822 条验证。
  • 评测设计分为两部分：Core-50 为 50 个任务提供演示用于策略学习并评估执行能力；Transfer-16 含 16 个没有目标任务演示的迁移任务，包括 7 个资产/关系任务、6 个技能组合任务和 3 个其他任务，测试零演示迁移。
  • 成绩方面，Core-50 上表现最好的多任务 checkpoint OpenWAM 仅达 29.1% 的任务宏平均成功率，且能力差异显著：汇总 8 个训练 checkpoint 来看，抓取-搬运-释放类成功率 34.9%，对另一物体使用工具类低至 2.9%。
  • 完整开源资源包括任务环境、成功判定器、评估工具与 PhysX 演示数据集。

为什么重要

  • 随着 Natura-1 等通用灵巧操作模型的出现，业界缺少统一度量可泛化灵巧操作进展的基准，HandsOn 填补了这一空白。
  • 工具使用类任务 2.9% 的成功率表明，灵巧操作尤其是工具交互仍是机器人学习的显著短板，为后续研究提供了明确方向与公开可复现的评测基础。

第 2 集 · GPT-6 Astra 零微调操控灵巧手，500 次尝试仅 5.2% 成功(2026-10-27,2 条)

HandsOn 团队评测 GPT-6 Astra 操控灵巧手：通过 moveeef 接口接收图像、机器人状态与指令反馈，不做微调、不用演示数据。结果 500 次尝试仅 26 次成功，成功率 5.2%。基于 800 回合回放的失败模式分析显示存在过早触发等三大失败模式，暴露出前沿模型在灵巧操作上的短板。