Words to World 基准:让 LLM 控制真实机械臂与传感器闭环交互
Xinnan Dai · hf · 2026-10-15
评测 LLM 的真实物理环境交互能力
现有基准多基于静态文本、离线工具调用或仿真任务,难以回答 LLM 能否在真实物理世界中行动。这个基准让模型通过 harness 系统闭环控制机械臂、相机和传感器等真实硬件。
评测设定
- 模型需发出指令、接收物理反馈、解读状态、并据反馈调整下一步动作
- 考察维度包括具身感知、动作规划、工具选择、空间推理、基于反馈的纠错,以及对执行不确定性的鲁棒性
发现
- 对代表性 LLM 的实验刻画了其把语言推理转化为物理行动的能力
- 常见失败模式:幻觉式状态变化、对意外结果恢复能力差、长程计划不稳定
团队来自密歇根州立大学、浙江大学、微软、罗切斯特大学等。
「具身」频道最新
- SpecWM 谱对齐框架训练世界模型，机器人规划成功率最高提升 28 个百分点 — randall_balestr · 2026-10-15
- 研究员质疑「机器人即将被解决」论:5 年内换任意汽车零件? — adam_karvonen · 2026-10-15
- 亚特兰大公寓启用机器狗夜间巡逻,还会用印度口音喊话住户 — 4KTV · 2026-10-15
- dm_robots 创始人赴大湾区拓人脉：大中华区 130 万外籍居民三分之一在香港 — DominiqueCAPaul · 2026-10-15
- Rhoda 机器人蒙眼触觉取物:新传感器可感知压力、纹理与温度 — DhruvBatra_ · 2026-10-15
- Valeo 联手 KE:SAI 发起开源自动驾驶计划，模型代码全开放 — abursuc · 2026-10-15