SNU 发布 HumanoidToolBench:18 任务评测人形机器人工具使用,真实 G1 数据 3.1k
snupilab · hf · 2026-10-15
首尔国立大学联合 UMass Amherst 与 Google Research 推出 HumanoidToolBench,首个联合评测人形机器人「选工具+移动执行」能力的基准。
- 基准:18 个任务、3 种场景、3 个执行层级、2 种工具集模式;配套 ToolBook 数据集含 3.1k 条仿真与真实 Unitree G1 采集的示范。
- 结果:仿真评测 7 个策略、真机评测 3 个,发现「选出合适工具」与「实际完成任务」之间存在显著差距;对 GR00T N1.7 的针对性探测显示,其在未见工具上选择准确率下降,且会在无关指令下继续执行任务。
- 代码与数据已开源。
「具身」频道最新
- Gracia 推新世界模型，主打 Real2Sim2Real 与物理 AI — jonstephens85 · 2026-10-15
- Niantic Spatial 借 Pokémon Go 海量影像做出 VPS，日本开发者已复刻原型 — jonstephens85 · 2026-10-15
- RoboParty 发布 RP1:全栈开源人形机器人平台 — GuanyaShi · 2026-10-15
- 港中文等发布 Agentic Robots 综述:模型/数据/环境/框架四大域 17 类全景 — Chonghan Qin · 2026-10-15
- 上交大 RegisterWAM:给世界动作模型加寄存器,LIBERO-Plus 成功率 81.6% — AutoLab-SJTU · 2026-10-15
- NYU 提出时序流策略 TFP:让机器人记忆按物理时间演化,真实任务时序成功率更高 — newyorkuniversity · 2026-10-15