DeliveryGym：在 UE5 巴黎送外卖，自适应 RL 让收入提升 54.3%

Lianhuiq · x · 2026-09-21

DeliveryGym 是基于 Unreal Engine 5 的自适应强化学习环境：具身智能体在巴黎街头导航、送外卖、赚收入，核心思想是「收入即奖励，失败塑造课程」——环境自动发现智能体的薄弱环节，并生成针对性更难的任务，形成具身递归自我改进（RSI）循环。在此自适应 RL 循环下，Qwen3-VL-4B 单班次净收入提升 54.3%。

系统侧的工程量很大：团队使用 SPEAR 作为 Python 到 Unreal 的接口，配合自研分布式 rollout 基础设施——并行模拟器 worker，以及环境执行、推理与策略训练之间的异步协调，在长时程 agent 在线 RL 的同时兼顾照片级渲染与 rollout 吞吐。作者特别致谢 SPEAR 团队。