7.5MB 五模型端侧语音前端 Alkove:只留你的声音再进 STT
cocktailpartyfixer · reddit · 2026-10-21
作者在生产环境跑 LLM 语音助手时发现,麻烦多在 LLM 之前:周围人说话混进转写、误触发打断。于是做了开源(Apache-2.0)端侧语音前端 Alkove,五个小模型共约 7.5MB:
- Lex(1.8MB):把输入的文本唤醒词转成可能的发音,唤醒词只需打字,不用训练或录音
- Spot(2.8MB):监听这些发音,支持 7 种语言
- Timbre(0.74MB):生成声纹,说三次唤醒词即建初版,边用边学
- Focus(1.1MB):只保留你的声音,在 STT 前去掉噪声、音乐和他人人声
- Cue(1.1ms):每 30ms 检测语音,配合声纹后只有你的话能开新对话轮
技术要点:自研 Rust 推理引擎(非 onnxruntime),WebAssembly/Python/Android 同位一致;浏览器端 134KB(brotli),AudioWorklet worker 驱动,无需 COOP/COEP 头;手机单线程速度 Focus 38.6ms/秒音频。提供 npm、pip、Android 包及 LiveKit Agents、Pipecat 插件。
实测:AMI 会议数据上,他人语音进入转写的词从每分钟约 17 个降到 0.5 个。局限:只适合近场单人麦克风,同性别声音同时说话仍难分离,16kHz 处理。
「编程与Agent」频道最新
- 用 8 张图+45 条语音训出原创角色 LoRA:MiniMax H3 实战全记录 — DeliciousGorilla · 2026-10-21
- Windows 没有 Gemini+Antigravity 统一客户端?开发者做了个开源扩展补上 — iamfivestars · 2026-10-21
- 开发者给 Claude Code agent 开视频站会,人类表现垫底 — stickygoose · 2026-10-21
- MCP SDK 2.3 升级报 ALREADY_CONNECTED?这是高危 CVE-2026-111770 的修复副作用 — Future_AGI · 2026-10-21
- 客户的 AI 助手来联系客服时,授权边界怎么划? — IrfanZahoor_950 · 2026-10-21
- SF 两周走访观察:融资两极化,开发者已不看代码只审 agent — ai · 2026-10-21