LaLa-World: Scaling Latent World Models with Natural Language Actions
Junha Song, Geonmo Gu, Jeongeun Park, Heejeong Nam, Lucas Maes, Byeongho Heo, Dongyoon Han, Sangdoo Yun
cs.CV, cs.LG
2026-10-20
NAVER 的 LaLa-World 把数值动作写成句子,用一个 0.8B 语言模型跨域预测潜在未来。五类仿真 MPC 成功率 72.1%,比 JEPA-WMs 高 7.5 个点,规划比生成模型快 13.9 倍。
JEPA 式潜世界模型不重建像素,只预测视觉特征的下一步。模型预测控制（MPC,对着目标画面试很多条动作、留下最近的一条）要评估几千到几万条序列,只滚向量才算得动。
跨域扩展卡在动作接口。仿真和机器人里的动作是数值向量,[2, 4] 在一个域是位移,在另一个域可能是力。图像和视频经常没有数值动作,DINO-WM、JEPA-WMs、V-JEPA 2-AC 只能按域分开训。视频生成用自然语言把不同来源的变化接在一起。NAVER AI Lab 的 LaLa-World 把这个接口接到潜空间预测上,一个预测器同时学控制轨迹和更宽的图像、视频。
数值动作用固定模板写成句子,数值、方向、幅度都留着,例如推子向左 1.19、向上 0.68。Wall、PointMaze、Push-T、Meta-World、Rope、Granular 和真实数据 DROID 进同一个预测器。RoboCasa 不参与训练。没有动作标注的 OpenVid 视频描述、OmniEdit 和 ShareGPT 编辑指令,直接充当相邻帧的条件,用来补模板句覆盖不到的说法。
预测器默认是 Qwen3.5-0.8B。视觉编码器冻结为 DINOv2-S/14 或 DINOv3-L/16,避免表征塌缩。语言走模型自己的分词器,视觉特征用两层 MLP 对齐,加上按时间与平面位置索引的 3D 位置编码,下一步特征从 query token 读出。损失是特征的平方误差,只监督下一帧。本体感觉（关节角、夹爪开合）不输入也不预测,各域定义不同。
旧的潜世界模型用调制层或特征拼接喂数字,读不了字。另挂文本编码器又多一套参数。语言模型兼任预测器,读句子和写未来发生在同一个网络里。
规划用交叉熵方法（CEM,按分布抽样,留下低代价序列再更新分布）。动作说成训练模板里的句子,在潜空间展开,用终点特征到目标画面特征的平方距离打分,执行序列开头,需要时重规划。基线同样不喂本体感觉,时域对齐。12 层解码器用 L1 和 LPIPS 把特征画成图,不参与世界模型训练。
LaLa-Policy 在这套权重上微调。动作 query 接 GR00T 式扩散动作头,同时预测一段动作和 N 步后的潜表示。编码器仍冻结,动作头从零训。LIBERO 每步执行 16 个动作,RoboCasa 预测 32 个、执行前 16 个。
IRIS、DreamerV3、TD-MPC2、LeWorldModel 去掉奖励和任务信息后,五类仿真平均只有 26.0%、30.2%、17.7%、28.1%。这沿用 DINO-WM 的协议,和它们带奖励训练时的成绩无关。同场对照是分域训练的潜世界模型。
| 评测 | LaLa-World | 对照 |
| 五类仿真平均 | 72.1% | JEPA-WMs 64.6%,DINO-WM 62.3% |
| Push-T | 81.2% | JEPA-WMs 68.8% |
| Wall | 95.8% | DINO-WM 90.6% |
| Meta-World Reach | 75.0% | JEPA-WMs 66.7% |
| PointMaze | 56.2% | JEPA-WMs 60.4% |
| Rope 等五项平均 | 50.5% | JEPA-WMs 44.8% |
| RoboCasa Place,零样本 | 46.9% | V-JEPA 2-AC 34.4% |
| RoboCasa Reach,零样本 | 40.6% | JEPA-WMs 37.5% |
| DROID 动作分 | 40.2 | JEPA-WMs 43.0 |
五类仿真是 Wall、PointMaze、Push-T、Meta-World 的 Reach 与 Reach-Wall。另一组是 Rope、Granular、RoboCasa 两项和 DROID。两组平均都最高。PointMaze 和 DROID 单项落后。
图 4 里,加上图像和视频后平均分从纯控制的 59.3 升到 61.6。改写模板用词时,纯控制从 59.3 降到 52.5,全数据从 61.6 到 61.0。
RAEv2 对照对齐了 DINOv3-L/16、语言条件和训练数据,预测器都约 0.8B。RAEv2 用 flow matching,从公开的 DiT 权重起步,每步去噪 1 次或 5 次。8 张 H100 上,LaLa-World 用 2 小时达到对方 12 小时的规划成绩,之后到 59.4%,RAEv2 最高 48.0%。单卡全深度比一步去噪快 2.9 倍,比五步去噪快 13.9 倍。
ImageNet 上用语言检索几何变换,256 个候选的平均倒数排名是 0.856,原图特征 0.024,空字符串 0.026。
CEM 每条轨迹要想象 4,500 到 54,000 次。Claude Opus 5 和 GPT-6 Astra 只提交 8 到 96 条语言动作,模型只回传终点距离。Claude 在 Wall 上 90 次达到 100%,CEM 用 9,000 次为 95.8%；RoboCasa Reach 上 80 次达到 53.1%,CEM 用 54,000 次为 40.6%；PointMaze 为 31.2%,CEM 为 56.2%。
| 策略 | 成功率 | 每条轨迹耗时 |
| LIBERO,LaLa-World 初始化 | 97.7% | 0.86 秒 |
| LIBERO,Cosmos Policy | 97.3% | 4.45 秒 |
| LIBERO,CogVLA | 97.4% | 未给同口径 |
| LIBERO,随机初始化 / Qwen3.5 | 94.1% / 95.7% | 同结构 |
| RoboCasa,50 条人类演示 | 57.3% | 2.12 秒,Cosmos 11.71 秒 |
| RoboCasa,300 条 MimicGen | 66.4% | Video Policy 66.0%,随机初始化 65.1% |
LIBERO 的 Spatial、Object、Goal、Long 为 98.6%、100%、97.2%、95.0%,Long 上 CogVLA 是 95.4%。50 条演示时,Qwen3.5 初始化 56.8%,随机初始化 55.5%,Cosmos-Predict2 初始化 56.0%。这个 Cosmos 对照去掉了未来本体感觉和价值预测。
MPC 要比哪条动作更靠近目标画面。编码器、数据和语言对齐之后,潜空间预测的规划成绩更高,相对五步去噪的 RAEv2 快 13.9 倍,对方训 12 小时的成绩它 2 小时就达到。
对策略来说,LaLa-World 是初始化。同一套微调下,它高于随机权重,也高于直接拿 Qwen3.5 来训。LIBERO 上对 Cosmos Policy 和 CogVLA 的成功率差不到 1 个点,单条轨迹推理大约快 5.2 到 5.5 倍。
图像和视频只多出 2.3 个平均分。它们压住的是改写模板时那 6.8 个点的下跌。语言接口另外让大模型在 Wall 上用大约百分之一的想象次数打平 CEM,RoboCasa Reach 上次数更少、成功率更高。PointMaze 这种要精细连续控制的任务接不上。
论文把没做完的事写得很具体。数据和 0.8B 预测器都小于 Wan 这类视频模型,图像视频的收益换到更大规模之后还在不在,没有测。编码器全程冻结,特征不会为了预测未来改写,解开又怕塌。监督只在下一帧,多步自回归没有训。MPC 时域沿用前人,最长约六步。策略评测停在 LIBERO 和 RoboCasa 仿真,没有真机,也没有价值函数去做 best-of-N。
平均领先盖不住格子。PointMaze 56.2% 低于 JEPA-WMs 的 60.4%,DROID 动作分 40.2 低于 43.0。Granular 的标准误大约 14 个点,58.3% 对 50.0% 落在噪声里。和 RAEv2 对齐的是编码器、语言、这次的训练数据和参数量,预训练语料不同,一边是公开 DiT,一边是 Qwen3.5。6 倍对应 2 小时追上对方 12 小时的成绩,此后 LaLa-World 还升到 59.4%,RAEv2 停在 48.0%,两边停在不同的点上。
LIBERO 97.7% 对 CogVLA 97.4%、Cosmos Policy 97.3%,榜已经很高,这点差距不能当成策略明显更强。定性动作只是把幅度收成 slightly、不加修饰、far 三档,CEM 仍在数值里抽样。图里有成功例子,正文没有这套说法的总成功率。解码画面会糊,训练目标里没有像素损失。