新综述：AI 正从语音识别迈向通用听觉智能

bravo_abad · x · 2026-08-17

Siyin Wang 等人在新综述中探讨了 AI 从专用音频处理向通用听觉智能的转变。现在的机器已擅长转录语音，但更难的目标是实现类似人类的听觉理解：识别说话人、环境事件、声源定位以及如何边听边反应。

技术范式正从专门的音频流水线转向音频原生基础模型。新系统不再孤立处理语音识别、声事件检测、音乐理解等任务，而是将音频编码器连接到 LLM，共享推理骨干网络。设计的关键选择在于表示形式：连续音频嵌入保留细节适合理解，而离散音频 Token 则压缩声音以适配当前 LLM 架构。