SO-101 Bench：LLM Agent 得分 83.2% 击败九个 VLA 策略

Truman Hickok · hf · 2026-10-28

独立研究者 Truman Hickok 发布 SO-101 Bench：基于 Isaac Lab 数字孪生构建的低成本机械臂语言条件空间操作仿真基准，含 4 类任务（5 个任务族）、138 个物体（seen/unseen-instance/unseen-class 划分）、916 个评估回合和 3629 条仿真演示。

关键发现：在最佳学习策略仅约 61% 的九个 VLA 与世界动作模型对比中，一个「写代码+把抓取交给学习策略」的混合 LLM Agent 得分 83.2%，消融显示优势来自 harness 与语言模型的选择。仿真与真实硬件排名高度一致（Spearman ρ=1.00），但仿真会高估成功率；空间放置、未见物体类别和旋转适配规划仍是开放难题。