机器人评测绕不开基准难题:Drift 主张按真实部署场景定制测试

jonstephens85 · x · 2026-10-31

Drift 团队 @nikhilkr 指出，认真做机器人部署的团队并不在乎标准 benchmark，他们要的是针对自己机器人、自己场景、自己场地的定制评测。机器人与 LLM 不同：机器人是硬件+软件+策略的整栈，必须端到端测试；在排行榜上得高分的策略，换一个具体房间就可能失败。

jonstephens85 附议：通用基准覆盖的领域太少，大部分机器人模型远未泛化到所有场景，通用基准说明不了太多。他认可 Drift 的做法——先建一个已知基准，再从那里逐步多样化扩展。