DroneWAM: Efficient World Action Model for Drone Visual Navigation
Liang Yao, Fan Liu, Hongbo Lu, Wei Xu, Jianyu Jiang, Yijun Shen, Chuanyi Zhang, Pai Peng
cs.CV
2026-09-27
河海大学等提出DroneWAM，在表征空间预测无人机未来并按场景分配想象深度。开环ATE比FastWAM低39.8%，平均深度从8压到4.58。
无人机靠第一人称画面导航：每发一条控制，机体姿态和下一帧一起变。可靠飞行要先估计候选动作会把观测推到哪。World Model 学状态转移，World-Action Model（WAM，世界动作模型）再把未来预测接到动作生成上。这段预测在闭环里会被反复调用，机载算力却很紧。
现有路线卡在两处。视觉-语言导航能用指令对准目标，但未来画面多半只被隐式带着走。航空世界模型会显式推演视觉动态，可表征要在多步想象里一遍遍向前传，而且通常给所有场景预定同一深度：空旷直飞和楼宇穿行花一样的预算。多数航拍基准还把飞行写成 4 自由度，只留平移和偏航；滚转、俯仰一变，相机朝向跟着变，监督覆盖不到。
机上能用的 WAM 因此要同时做到：预测空间留下导航要的结构和运动，不重建像素；被反复传播的表征本身要短；想象步数跟场景走。
DroneWAM 把未来建在表征空间，不生成下一帧 RGB。骨架是 JEPA（Joint-Embedding Predictive Architecture，在嵌入里预测未来，不重建像素）。冻结 ViT-L 抽出稠密视觉 token，预训练 Resampler（文中叫 TokenAE）再把 512 个压成 128 个 latent token。压缩发生在多步想象之前，省的是每一步都要重复的计算。目标图和当前观测走同一套冻结编码器。
输入是 4 帧 RGB、对应 7 维运动状态、已执行动作历史和一张目标图，输出 8 步机体坐标系 6 自由度动作。训练分三阶段。
推理时每加深一步打一次分，过阈值就停，但执行的是停之前分数最高那条计划的第一步，然后收新观测、滚动重规划。
数据是自建的 DroneNav-6D：Unreal Engine 4.27 + AirSim，五个仿真世界，同步 RGB、6 自由度位姿和控制指令，并注入随机风扰。过滤后得到 3,837 条轨迹、1,592,170 帧、63.03 小时，中位采样约 7 Hz；训练 3,453 条、验证 384 条。
开环下所有方法吃同一段观测、中途没有新反馈。DroneWAM 轨迹误差和延迟都最低。
| 方法 | ATE↓ | Rel.ATE↓ | 延迟 (ms)↓ |
| V-JEPA 2-AC | 27.4317 | 0.6621 | 64,617.72 |
| DINO-WM | 9.0923 | 0.4459 | 29,622.24 |
| NWM | 3.7580 | 0.3740 | 403,827.78 |
| LeWM | 4.2259 | 0.4164 | 654.37 |
| FastWAM | 1.8366 | 0.1919 | 712.33 |
| DroneWAM | 1.1062 | 0.0578 | 483.29 |
相对最强基线 FastWAM，ATE 从 1.8366 降到 1.1062，降幅 39.8%；延迟从 712.33 ms 降到 483.29 ms，降幅 32.2%。NWM 要把未来画成像素，开环延迟到 40 万毫秒量级。
闭环按新观测重规划。导航进度从 FastWAM 的 0.510 升到 0.774，ATE 从 119.8063 降到 83.4461，MSE 从 124.30 降到 91.96，延迟仍是 483.29 ms。论文写明评测方法没有一个跑完全程，现系统还不能上真机。另切 50 条以直线和缓转为主的简单航线：DroneWAM 成功率 88%，NWM 74%，FastWAM 72%，进度 0.95，延迟 460 ms。难航线成功率为零，简单航线才能飞完。
消融把空间和时间拆开。加上 Planner 后 Rel.ATE 从 0.6621 落到 0.0584，延迟从 64,617.72 ms 降到 656.12 ms。Resampler 再把延迟打到 582.65 ms，误差几乎不动。自适应 rollout 继续降到 483.29 ms，Rel.ATE 0.0578。token 从 512 压到 128，延迟从 591.28 ms 到 483.29 ms，降 18.3%，Rel.ATE 只从 0.0574 升到 0.0578；压到 16 个则升到 0.0659。
固定 8 步 Rel.ATE 0.0688；随机停在平均 4.581 步，误差升到 0.0722；学出来的 Gate 平均 4.578 步，Rel.ATE 0.0578。同一算力，乱停比固定深度更差。按「该样本误差最低的深度」分组，最优深度散在 1 到 8 之间，并不堆在最大深度上。
同一套 Gate 迁到机械臂基准 LIBERO。相对固定 8 步，延迟从 890.8 ms 降到 411.9 ms，降 53.8%；归一化动作 RMSE 从 0.2685 到 0.2652，夹爪准确率从 89.83% 到 90.35%，平均深度 3.56。四个 suite 都优于固定 8 步。
这是把想象算力写成一等约束的航拍 WAM。JEPA 把预测留在嵌入里，不画 RGB。Resampler 砍每步要带的宽度，Gate 再按场景砍步数。128 个 token、平均 4.58 步、开环约 0.48 秒，机载预测该按场景花钱。
DroneNav-6D 的 6 自由度数据和「可变深度想象、执行沿途最高分计划第一步」这套接口，可以直接挪到别的航拍 WAM 上。它仍是仿真里的渐进改进：难航线闭环成功率为零，简单航线 88% 只说明模型能在闭环里飞。
论文自己列了：固定 token 预算和有上限的想象地平线要按场景和算力再调；表现绑在预训练编码器和 Resampler 留住了什么上；复杂场景闭环成功率极低；现系统不能部署到真机，还缺更高成功率、更强鲁棒性和物理平台验证。
评测几乎全在自家仿真集上。开环主表里 DINO-WM、V-JEPA 2-AC、NWM 的延迟高两到三个数量级，真正有对照力度的是 FastWAM 和 LeWM。Gate 会早停：附录 Case 4 停在深度 1，Rel.ATE 0.2160，滚到 8 能到 0.1285。闭环成功要无碰撞、终点位置误差 2 m 以内、姿态误差 0.35 rad 以内；难航线成功率为零，进度 0.774 容易把这件事盖住。附录给 LIBERO 加语言条件后平均成功率从 45.23% 升到 59.94%，那是另加模块的结果，不能记在原版 DroneWAM 头上。483 ms 是 batch size 1 的 GPU 同步墙钟，不含读数据和预处理，没有板端数字，也没有真飞。