开源语音管线接入 Smart Turn 端点检测,误触 LLM 调用减少
ivan_digital · reddit · 2026-09-04
开发者为其 C++17 语音运行时 speech-core 发布 v0.0.14,在 LLM 调用前加入基于 Pipecat/Daily Smart Turn v3.2 模型的「说话结束门控」,解决用户思考停顿导致提前定稿、误触发 LLM 的问题。
工作流程:
- VAD 检测到候选停顿
- Smart Turn 分析最后最多 8 秒的 16 kHz 音频
- 默认阈值 0.5 下,管线决定结束轮次或继续监听
- 被否决的停顿后若恢复说话,仍算同一轮次
- 2 秒最大静音上限防止对话被无限挂起
关键实现细节:
- 门控放在共享 C++ 状态机而非平台封装层,C API 通过 vtable 支持替换分类器
- speech-swift:17 MB Core ML 模型,Apple Silicon 上每窗口约 3.5 ms,1000 条测试音频决策与上游 fp32 模型完全一致(均 92.9%)
- speech-android:11.1 MB int8 ONNX 模型,纯 CPU、仅在确认停顿时运行一次
- int8 导出在同批测试上达 93.0%
- 同步处理了 STT 部分转写尊重分类器否决、flush/强制切分/分类器失败等边界行为
项目开源,无付费功能门控。
「编程与Agent」频道最新
- Software World：用智能体模拟 GitHub 生态研究多智能体协作 — PangWeiKoh · 2026-09-04
- 开发者用 Codex 复刻暗黑破坏神玩法，自称 Path of Codex — Dimillian · 2026-09-04
- GPT-6 演示:在 Blender 里全自动建模,一键导出 UE5 关卡 — petewoodbridge · 2026-09-04
- Gemini CLI、Crush 与 Chrome DevTools MCP 到底该怎么选 — Different_Regret_146 · 2026-09-04
- OpenClaw 新手引导大改版，手机与 Mac 双网关一键配好 — steipete · 2026-09-04
- Instinct 创始人推出免界面个人 agent，藏在 iMessage 与 WhatsApp 里 — Scobleizer · 2026-09-04