北大团队发布 OmniEcho:让具身智能听懂空间声音的基准与模型
PKU-VaLuE-Lab · hf · 2026-09-25
PKU-VaLuE-Lab 发布 OmniEchoBench 与 OmniEcho 模型，探索具身智能体的空间音频理解。
- 基准：覆盖 197 个真实空间音视频场景、6 项任务、2,972 组问答，以及来自 30 个真实环境的 900 条导航样本，音频采用一阶 Ambisonics（FOA）格式
- 训练管线：开发可控空间音频渲染管线，保证声源、视觉观察与智能体轨迹之间的几何一致性
- 模型：OmniEcho 引入 FOA 空间编码器与预训练语义音频通路，在空间音视频感知上达到 SOTA；声音引导导航性能接近传统视觉语言导航
- 开放问题：细粒度空间定位与距离估计仍是主要挑战
「具身」频道最新
- SpaceX 锁定 100GW 太阳能电池产能，为 Starmind AI 卫星建厂 — ns123abc · 2026-11-11
- SpaceX 发布 Starlink Mini 2:内置快换电池,单次续航 4.5 小时 — elonmusk · 2026-11-11
- 50美元dToF激光雷达接iPhone,开源USB方案可做室内3D扫描 — kamathsblog · 2026-11-11
- 黑客松项目 Bolt：Gemma 4 纯本地跑在 iPhone，驱动机器狗健康提醒伴侣 — DynamicWebPaige · 2026-11-11
- Matthew Chang：全球没有任何人形机器人是由机器人自己造出来的 — MatthewChang · 2026-11-11
- 王兴兴严控研发押注硬件,宇树「苟硬件等软件降神」引热议 — teortaxesTex · 2026-11-11