PanoVLN: Towards Effective Panoramic Vision-and-Language Navigation
Zhen Wang, Changpeng Wang, Zhe Liu, Zhangyang Qi, Yuxiang Lu, Zimo Zeng, Donglian Qi, Xi Chen
cs.CV, cs.RO
2026-09-28
浙大与港大的PanoVLN表明，透视直接换成全景几乎不涨点。补上长序列预测、置信度执行和分叉监督后，4B RGB模型在R2R-CE、RxR-CE未见集成功率到77.3%、78.0%。
多数VLM导航策略吃透视画面。侧面的门、身后的岔路要先转身才看得见，于是多走探索、多停重规划。等距柱状全景图ERP把360°×180°摊成矩形，一次能看见四周通道。
把透视换成ERP，轨迹、监督和执行长度都不变，成功率几乎不涨，有时还会掉。短动作目标只用到正前方；现成数据里分叉稀疏；VLM特征偏语义，不管各方向怎么摆。PanoVLN改这三处。
骨干Qwen3.5-4B，PanoVGGT冻结抽几何，输入只有RGB。动作：前进25 cm、左转或右转15°、停止。
每个状态监督接下来H=18步专家动作。全景已能看见转弯后的路，短目标用不满。消融里透视策略H=4最好，ERP要到H=18才抬头。CGE把逐步动作的−log概率累加，超过预算B=1.2就重新观察，至少执行4步。看清路口可以连打方向再直行，概率一散就抬头。
现成轨迹很少同时露出多条路并指定走哪条。在800个HM3D场景造了98K条必经可见分叉的轨迹；Qwen3.8-27B根据第一人称视频和八向罗盘图写指令，运动顺序、选择、停止位置三条对上才留。采样用stride-6网格，相邻18步目标重叠从17降到12，转弯起点和终点附近加密。
当前全景token更细，历史最多从最近100帧抽10帧。同一张RGB全景的几何特征按区域对齐，经MLP以α=0.2残差加到视觉token，不增加token、不要深度。
Habitat评R2R-CE、RxR-CE Val-Unseen。完整模型使用R2R/RxR、DAgger和自建数据。
| 方法 | R2R SR | R2R SPL | RxR SR | RxR SPL |
| DualVLN | 64.3 | 58.5 | / | / |
| AwareVLN | 65.4 | 55.1 | / | / |
| CorrectNav† | 65.1 | 62.3 | 69.3 | 63.3 |
| PanoVLN† | 73.9 | 67.9 | 74.1 | 63.9 |
| PanoVLN | 77.3 | 70.6 | 78.0 | 65.9 |
R2R-CE成功率77.3，比AwareVLN的65.4高11.9点；RxR-CE 78.0，比CorrectNav的69.3高8.7点。导航误差2.83 m和2.85 m。只比†组时，PanoVLN†的R2R SR是73.9对CorrectNav的65.1，RxR是74.1对69.3。
关掉几何、只训4000步，ERP在H=18的SR为56.4。转弯与终止加密采样拉到62.8。同一checkpoint上固定执行1/6/12/18步的R2R SR为64.6、64.2、61.4、57.2，CGE到66.6。PanoVGGT把该设置从66.6推到68.6，UniK3D到67.8，DA2与DAP下降。DAgger加5.3与7.0点SR，自建数据再加3.4与3.9点。Qwen3-VL-4B已是76.2 / 75.7，Qwen3.5-4B再涨1.1 / 2.3。
真机Unitree Go2加Insta360 X5（1.5 m），远程RTX 3090，约12 GB，无场景微调。Hallway、Office、Campus各20条指令。同步执行平均86.4 s、25.7 cm/s，暂停5.4次、请求7.4次。StreamVLN 117.8 s、34.3次；JanusVLN逐步预测412.9 s、101.7次。单次推理1.08 s，慢于StreamVLN的0.58 s，等待占比13.6%。
换全景若监督、执行节奏和分叉密度不跟着改，多出来的视野会被浪费。能搬走的是长程监督、按置信度截断执行、分叉处密集标注，外加零额外token的冻结几何残差。4B、仅RGB、12 GB超过不少带深度或地图的旧方法。
动作仍是25 cm / 15°原语，真机同步停等、规划在远端GPU。已在跑NaVILA、StreamVLN的可以把全景加CGE当下一档对照。只换相机、不改horizon，会复现换ERP几乎不涨。
正文没有Limitations节。
真机每场景20条，同步停等，网络另计272 ms，没有机载、没有边走边想。Campus是室内训到户外，正文没有逐场景成功率。CGE的B与Emin未经完整扫描。98K指令由VLM生成再校验，完整模型还叠DAgger，和部分基线数据配方不对称。RxR上拿来减8.7点的CorrectNav属于†组。几何只融当前帧。Horizon消融只训4000步且无几何，不是完整模型的H曲线。