让 LLM Agent 拥有本地听觉
es617_dev · reddit · 2026-07-16
作者做了一个开源实验框架，目标是给 LLM agent 补上“听觉感知”：不仅做语音转文字，还能识别鸟叫、玻璃碎裂、烟雾报警器等环境声音。 ### 核心流程 1. **Gate**：用能量、novelty 和 Silero VAD 过滤连续音频流，只把少量候选片段送入后续流程。 2. **Fingerprint**：用 CLAP embedding 加上几十个符号特征（频谱形状、谐波、峰值、时间漂移等）做特征表示。 3. **Recognize**：通过 sqlite-vec 做 top-k 相似度检索，匹配到已学概念后可直接走服务器侧快速路径，不必再调用 LLM。 4. **Unhandled**：未识别内容进入待标注队列，教师标注后形成新概念；系统会随着使用自动校准阈值。 ### 现状与应用 - 目前集成了三类 specialist：**Whisper、BirdNET、AST**，并支持扩展更多分类器。 - 作者没有做正式 benchmark，只在自己的录音上做了轻量评估。 - 设想应用包括：机器人感知异常声响、家庭助手检测烤箱提醒声、工业监测提前发现轴承故障。