机器人模型为何比 LLM 更难评测：RoboDojo 揭示 GPT-6 榜单第一的真相
binarybits · x · 2026-10-19
Understanding Robots 博主 Kai Williams 的长文探讨为什么测试机器人模型比测试 LLM 更难，并连带复盘了自己判断失误——原以为不会有顶级机器人模型开放 API，结果 Physical Intelligence 上周发布了 API beta。
核心部分：作者在考察 GPT-6 Astra 的机器人能力时研究了 RoboDojo 基准（由港大、UC Berkeley、清华等学者联合构建）。Astra 曾短暂登顶榜单，超过 Physical Intelligence 等专业机器人模型，但细看并非如此简单：
- RoboDojo 仿真基准含 42 个任务，分泛化、精度、长时程、记忆和开放任务五类。
- Astra 在精细操作类任务（如把试管插入架子）上挣扎，但在考“书本智能”的任务（如排列数字方块组成最大数）上表现极好。
- 最强的专业机器人模型则相反：精度更好但处理不了语义变化。
- 由于足够多的任务考语义能力，Astra 拿到了最高平均分，但这个总分掩盖了真实能力结构。
结论是：当前机器人基准的信息量远低于常规前沿模型基准， headline 分数容易误导对机器人能力进展速度的判断。
「具身」频道最新
- F-22 首次控制 CCA 无人协同战机，Anduril 与美空军达成里程碑 — BrettKrieger12 · 2026-10-20
- Ropedia W0:1万小时人类视频证实机器人学习的 Scaling Law — liuziwei7 · 2026-10-20
- Apple 官宣 10 月 28 日发布会，传闻将推首款触屏 MacBook Pro — Polymarket · 2026-10-20
- 周末 DIY：用两块 RP2040 做 roadie 板，让 AI agent 操控手机 — hugs · 2026-10-20
- LidarVerse:单一模型实时搞定 LiDAR 重建、预测与生成,H100 上跑 11 FPS — ZGojcic · 2026-10-20
- AI 实验室在三城免费修水电暖,只为采集视频训练机器人 — whatdowecallu · 2026-10-20