OmniEcho: Audio-Visual Spatial Understanding for Omni-Modal Embodied Agents
Ruixun Liu, Yuxuan Wang, Jiacheng Xie, Yuhuan You, Donghua Cai, Junming Lin, Xiong-Hui Chen, Zhifang Guo, Yunfei Chu, Qize Yang, Xize Cheng, Jin Xu, Yiwu Zhong
cs.SD, cs.AI
2026-09-20
北大、阿里和清华给Qwen3-Omni加一条一阶Ambisonics空间通路,真实视听问答整体准确率28.5%,声音导航成功率16.2%,接近部分文本VLN基线。
人形机器人听得见方向,现成 omni 模型大多只吃单声道。声音能告诉相机视野外发生了什么,但真实现场的空间音频贵,仿真又容易跟画面、轨迹对不上。Qwen2.5-Omni、Qwen3-Omni、SO-7B 在真实一阶 Ambisonics(FOA,四通道球面声场)场景上,空间推理仍然很弱。
OmniEchoBench 从 30 个真实室内场景收了 197 段空间视听、2972 道问答、900 条导航。采集是同步的第一人称视频、360° 全景(只给标注用)和四通道 FOA。剧本刻意安排画外和擦边声源,单看画面答不上。问答覆盖声源方向(1069)、三维定位(521)、声源运动(473)、相机旋转(309)和俯视认知地图四选一(600)。导航覆盖 10 个单房间和 20 个跨房间网格,同时给 FOA 和文本指令,方便跟传统视觉语言导航对照。Habitat 上有闭环仿真。
训练走可控渲染:声源、画面、轨迹绑在同一套几何上。感知侧按人工指定的声源配置出 FOA 问答;导航侧把 ScaleVLN、RxR、R2R、VLN-PE 的目标点放上声源,加距离衰减和混响。第三阶段一共 363193 条,其中导航 139142+92418+31577+28969 来自上述四个集,32 张 A100 约四天。
模型挂在 Qwen3-Omni-30B-A3B 上。轻量 FOA 编码器输出 384 维、7 Hz 对齐的 token。输入是 5 通道图:W 通道 log-mel,加上三个主动强度和扩散度(ACN/SN3D)。第一阶段用约 10 万段合成 FOA、1–4 个声源,SigLIP 对齐冻结 CLIP 文本;第二阶段加查询条件定位头,同时保住语义目标。接入时冻结 FOA 编码器、原音频塔和视觉塔,只更新 LLM 和投影器。W 通道继续走语义通路,空间 token 插在对应音频 token 后面的占位行里。导航按 InternNav 设定,每步看语言指令、历史关键帧、当前窗 FOA,预测未来 8 步轨迹。
视听问答整体 28.5,同骨干 Qwen3-Omni 单声道加视觉只有 18.5。纯音频 21.8,对上骨干 17.5。分项上,方向 22.6 对骨干 16.3,三维定位 14.2 对 7.7,认知地图 47.5 对 22.3。去掉画面后方向、定位、运动几乎不动,相机旋转从 41.7 掉到 29.1:空间听感主要服务声源几何,相机自我运动仍靠视觉。SO-7B 自称训过空间音频,真实基准上整体只有 11.4,作者归到缺视觉监督和仿真到真实的缝。
| 方法 | 设置 | Overall |
| Qwen3-Omni | 单声道+视觉 | 18.5 |
| SO-7B | FOA+视觉 | 11.4 |
| OmniEcho | FOA+视觉 | 28.5 |
真实导航成功率 16.2%、SPL 11.5%,InternVLA-N1 文本指令是 17.8/16.7。SoundSpaces 双耳只有 5.4/3.9,停不下来。VLN-CE R2R 上音频指令成功率 22.2%,略过 Seq2Seq/CMA 的 21.0/22.0,落后 InternVLA-N1 的 50.6%。消融里冻结 FOA 编码器整体 28.5;拿掉原生音频塔剩 26.2;第三阶段一起训 FOA 也是 26.2,各子任务都掉。定位误差 17.9°/7.70°/1.13,原始四通道波形加同样预训练是 30.5°/13.8°/1.65。只加 FOA 头、不跑前两阶段,没有稳定收益。
给现成 omni 模型加一条空间听感通路,比再训一个端到端导航网更省。能用的场景是室内找声源、听指令靠近说话人。导航离强文本 VLN 还有明显差距,先当感知模块更稳。
训练几乎全是仿真,作者自己说分布有偏,只暗示少量真实空间音频或许能校正。三维定位仍只有 14.2。导航对照并不干净:SoundSpaces 吃的是双耳不是 FOA,文本 VLN 有路线级指令。SOTA 只在自建基准上成立。代码和数据仍标将公开。