RL 训练 4B 模型开飞行跑车，风暴中反超 GPT-6 Astra 等前沿模型

skypilot_org · x · 2026-10-23

Tesla 飞行 Roadster 演示因大风推迟两周后，SkyPilot 团队自建了一个让 LLM 驾驶它的 RL 环境。结果：GPT-6 Astra、DeepSeek、Muse Spark Open、Beam、Nemotron 3.5 Super VL 在实时驾驶中 kickflip 成功率全部为 0%，即使给每个决策无限思考时间也不行。

而他们用 SkyRL 和 vLLM、以 SkyPilot Job Group 编排，对一个 Qwen 4B 模型做 RL 后训练（先模仿教师、再自主练习），其在风暴中的表现反而超过了这些前沿大模型。这是一个展示「小模型+领域 RL 可以反超通用前沿模型」的趣味且硬核的 demo。