Artificial Analysis 推出 AA-Robotics 基准:LLM 机器人任务能力首度排名

ObiWanCanownme · reddit · 2026-10-15

Artificial Analysis 发布 AA-Robotics v0.1,这是首个专门评测 LLM 执行机器人任务能力的基准,目前上榜模型不多。结果显示多个模型能完成大部分任务,但速度非常慢;综合完成时间与准确率看,GPT-6.1 Sol 表现最佳。

作者认为 LLM 突然在机器人任务上表现可观是一个被严重低估的扩展机会:文本领域易验证奖励的任务已接近枯竭,而「视觉/音频输入 + 机械臂或人形机器人控制输出」的任务空间里有无数易构造、易验证奖励的任务,为通过 LLM 后训练扩展机器人能力提供了清晰路径。他也期待看到老模型和开源模型在该基准上的表现。