5.8M 参数语音事件检测器：为 Whisper 转录补上笑声呼吸与背景音

Ayush Kumar Bar · hf · 2026-10-16

theboringai-work 开源 Speech Event Detector 并发布论文：ASR 只输出文字，会丢掉录音里的非语言内容（呼吸、笑声、叹气、咳嗽）和背景声音（音乐、狗叫、喇叭）。该模型以 5.8M 参数的卷积-Transformer 架构，每 40ms 输出 54 类事件（20 类说话人发声 + 34 类背景声）的概率，经后处理转为带时间戳的事件，并合并进 Whisper 转录结果。

训练数据来自七个公开数据集，标注格式互不兼容（单区域检测等），通过统一多源标注与合成增强解决。模型与代码已在 GitHub 和 Hugging Face 开源。