无需动作标签的世界模型训练法
bronzeagepapi · x · 2026-07-16
这条转发讨论了一种**不需要 action labels** 的 latent world model 训练方法（NEO）。 ### 核心思路 - 不同于 DINO-WM、LeWorldModel 这类在推理时用 CEM 或梯度下降优化动作序列的方法，NEO 通过 **VQ-VAE 学习一个动作 codebook**。 - 推理时模型可以**直接从 codebook 里选择并执行动作**。 - 一个重要特点是：**不需要提供动作标签**，给一段视频后就能直接开始训练。 ### 作者的顾虑 - 如果数据转移动态很大或噪声很重，训练可能会非常不稳定。 - 架构本身已经比较复杂，相比之下，作者更喜欢 VICReg、SIGReg、VISReg 这类更简单的方法，便于尝试不同应用（例如 LeWorldModel）。 - 如果当前动作序列达不到目标状态，仍然需要做动作搜索。 整体上，这是一种很有意思但也存在稳定性和复杂度问题的 world model 方案。