Sentdex 实测：通用多模态 LLM 直接操控四足机器人，无需训练
Sentdex · x · 2026-09-04
Sentdex 提出并验证了一个反直觉思路：不用专门训练 VLA/世界模型，直接让通用多模态 LLM 承担机器人高层智能。他用带视觉的 GLM 5.3 Flash 接入 XGO mini 轮式四足机器人（带机械臂和夹爪）的高层 SDK，模型自行分析摄像头画面并调用移动、关节、抓取接口完成任务——零训练、零微调，Z AI 自己都没料到可行。DSV4F + Qwen 3.8 27B 视觉模型组合也能跑通。
为什么绕开 VLA：
- 他训练过 VLA，体感极其难调：sim2real 问题严重，相机/光照/任务稍有偏差 demo 就翻车，几周工作只换来会做一件事的机器人
- teleop 数据采集痛苦且只能泛化到特定任务和机器人
- 机器人真正的难点不是目标检测（早已解决），而是应对现实不完美处的智能、逻辑与规划
结论： 对四足这类不需要高频 IMU 的形态，通用 LLM 可能已经够用，甚至可能让整条 VLA/世界模型研究路线被绕开；步态运动控制暂不适用，但他判断也不远了。
所属事件:Sentdex 用通用多模态 LLM 直接驱动四足机器人(3 条相关)→
「具身」频道最新
- Perceptron Isaac 0.5 会叠 T 恤，开源权重支持跨机器人本体复现 — iamrobotbear · 2026-09-04
- Anthropic MHS 实验踩坑:模型不该管实时物理控制 — Empty-Abalone-2952 · 2026-09-04
- 自研还是代工？人形机器人路线之争引热议 — chris_j_paxton · 2026-09-04
- 「Atlas <> Palantir」预告出现,定档 2026 年 9 月 10 日 — eliano · 2026-09-04
- Ultra 用「机械臂+半人形」混合方案抢跑 3PL 现场部署 — chris_j_paxton · 2026-09-04
- Zeroth Robotics 发布不到 4 千美元的 88cm 开发者人形机器人 — chris_j_paxton · 2026-09-04