纯渲染最高到24.1倍,训练端到端只到1.33倍

stable-envs-v1: Fast and Reproducible Environments with Controllable Variations

Sami BuGhanem, Francesco Capuano, Ahitagni Das, Richard Gao, Randall Balestriero

cs.SE

2026-11-18

开源库 stable-envs 在 GPU 上批量渲染 80 个仿真环境,纯渲染最高到参考实现的 24.1 倍,LeWM 在四个环境上的训练速度是参考的 1.16 到 1.33 倍,规划称为不降。

这篇在解决什么

像素世界模型靠画面学动力学。在线交互或离线采轨迹,最后都要把高维图像读进内存,再搬到计算核心。只吃图像的紧凑世界模型 LeWM 在中等规模数据上,大约要处理 200GB 图像,按 uint8、每像素 1 字节、224×224、约 2 万条轨迹、每条 200 步估算。高保真机器人仿真比迷宫更难把这些帧全部落地。

省空间时通常把观察压成视频,训练前再解帧。大语料上,加载、解码和摆帧可能要几个小时。流式解码能和梯度更新并行,从而躲开预处理,但产帧和吃帧错位就会让 GPU 空转。两条路最后往往还要把解码帧从 CPU 拷到 GPU。

仿真可以直接在 GPU 上现渲,图像不必落地,也不跨设备搬,瓶颈于是变成出图速度。CPU 向量化和多进程能增大环境个数,但不保证单个环境出图更快。Isaac Lab、ManiSkill3、MuJoCo Playground 用 GPU 物理和渲染把吞吐做高,但绑着专门后端。其中 Isaac Lab 的 GPU 渲染器不支持 Hopper 代(例如 H100),也不支持 macOS。

Brown、Oxford 与 Rice 放出的 stable-envs,就是给这一缺口用的轻量库:80 个环境在 GPU 上批量渲染,状态可完整重放,外观可改,物理状态不动。

方法

物理要么移植、要么重写,然后把内部状态全部交出来。渲染速度、精确存档、外观单独调整,都靠这一层,外面是同一套 API。80 个环境里有 TwoRoom、PushT,也有 RoadSter。环境类自管底层。库负责颜色一类的变化因子和批量调用,并对照源实现校验。实例都进同一个调度层 simulation adapter。CPU 走向量化或进程池,GPU 按环境走批量物理后端 MuJoCo Warp、MJX,或 PyTorch kernel。

一次跑 B 个环境。reset 给出批量状态,step 吃 [B, A] 或动作块 [B, T, A],出图可以关掉,评估物理时不用画帧。render 再把状态画成任意分辨率的 RGB。状态里存着确定性量和随机量,所以录下状态就能重放。数据集可以不存图像,只存这些状态,训练时再渲,分辨率和颜色都能临时改。能这么做,是因为仿真状态和画面被做成一一对应。

出图加速有两处。静态景物每步重画不划算,于是按配置在 batch 里画一次,以后每帧只画运动体。GPU 上用 MuJoCo Warp 和 NVIDIA 光栅化库 nvdiffrast 写 kernel,张量留在训练设备上,避开主机往返。外观走 setvariation。PushT 里把 T 形块设成 RGB(230, 80, 60),物理状态不变,像素变了。视觉因子可以单独抽样。

结果

这几组倍数测的是不同的事。

从预录状态并行渲染、凑一个训练 batch,GPU 上的速度是参考实现的 1.4 到 24.1 倍。相对 CPU 原生基线,环境吞吐最高是其 8.5 倍。图 1 的 8.5 倍指渲染,结论里的约 24 倍是 24.1 倍那个上沿。环境一换,纯渲染和端到端训练就会差出一个数量级。

端到端测的是 LeWM。训练代码用 stable-worldmodel,环境只有 TwoRoom、PushT、Reacher、Cube。除了改成 GPU 现渲,训练循环没动。四组速度是参考实现的 1.16 到 1.33 倍,GPU 利用率更高,下游规划称为与参考相当,摘要写成没有性能损失。利用率和规划分数的具体差值,叙述里没有。

动力学对齐用同一初态和动作 a0 到 a20,最大误差在表 7,正文没写数值。画面用像素均方误差。CPU 上这四个环境接近逐像素相同。GPU 上 TwoRoom、PushT、Cube 几乎精确,只有 Reacher 差 2.2,被称作可以忽略。

口径对照结果
预录状态批量纯渲染参考实现,GPU1.4×到24.1×
环境吞吐CPU 原生基线最高 8.5×
LeWM 端到端训练参考实现,四个环境1.16×到1.33×
GPU 像素 MSE源渲染Reacher 为 2.2,其余近乎精确
下游规划原流程称为相当,叙述无差值

为什么重要

这是仿真基础设施上的渐进改动,算法本身没有换。正在用像素观测训模型的人可以直接接上。

200GB 量级的帧可以改成存状态,取 batch 时再渲染,解码和 CPU 到 GPU 的图像拷贝都可以去掉。同一状态能换分辨率和颜色,不用为每种外观重采数据。80 个环境共用接口。

时间省在出图。优化器那段没有变短。渲染吞吐最高是 CPU 基线的 8.5 倍,纯渲染上沿是参考实现的 24.1 倍,训练速度只高出 16% 到 33%。更新模型仍是大头。周期变短,不会减半。

局限与存疑

吞吐没有对着 Isaac Lab、ManiSkill3、MuJoCo Playground 测。三者在文中只扮演「后端和硬件都绑死」的角色。H100 和 macOS 上这条 GPU 路径能不能跑,没有结果。绘制还依赖 NVIDIA 的 nvdiffrast。可移植性是动机,测量没跟上。

速度和正确性的细账集中在 4 个环境,库却有 80 个。动力学只比了约 21 步,长轨迹是否漂,不知道。「没有性能损失」没有规划数字支撑。Reacher 的 2.2 也没交代是均值还是总和,像素是否落在 0 到 255。

外观控制同样没有训练侧的证据。摘要说现渲、当场改外观,能提高数据多样性。实验没做这组消融。现在能确认的是出图更快,四个环境的短轨迹和画面大体跟源实现一致。

术语

原文与代码

社区讨论

相关论文

全部论文解读