单张 RTX 4090 跑全双工语音助手 Speakrail,部分基准叫板 GPT-Live
danil_rootint · reddit · 2026-10-05
开发者 danilrootint 发布开源项目 Speakrail:完全本地运行的全双工低延迟语音助手,单张 RTX 4090 即可跑,部分基准上对标 GPT-Live。技术栈为 Voxtral Realtime(带 turn-taking 头)、微调的 Gemma 4 12B 和 Breeze TTS 2,代码开源在 GitHub。
动机:现有全本地方案(HF speech-to-speech、Unmute、Pipecat)都受限于 Whisper 的幻觉或 turn-taking 慢;唯一有全双工能力的 DuplexCascade 论文用 Qwen 2 7B + 合成数据,模型太笨没法用。作者用新数据、新模型重做 DuplexCascade,并加入打断、插话等能力,对标 Thinking Machines 的 interaction models 演示。
迭代过程
- v0.1:用 GLM 5.3 Flash/5.3 生成带指令遵循和工具调用的对话数据,转成 microturn 格式(模型持续读流式 ASR 输入,靠 <interject>、<listen> 等控制 token 决定何时说话)。第一轮训练模型完全不会闭嘴;后来加入 Voxtral 的韵律数据才改善。
- v0.2:给 Voxtral Realtime 加 MLP 提取 turn-taking 信息,以辅助 token(<userbc>、<complete>)喂给 LLM 重训,模型开始合理,但学不会 backchannel、静音模式和打断模式。
- v0.3-v1:找到症结——v0.2 数据集 15 万条样本里只有 150 条打断样本。补充相关数据后实现目标行为。(完整技术报告后续发布)
「编程与Agent」频道最新
- Gemini CLI 遥测新增自定义 OTLP Headers,支持鉴权上报到 Grafana 等平台 — jesussamuel-byte · 2026-10-06
- Opus 5.5+Hermes 竞品定位分析工作流：四步产出可测的定位角度 — VibeMarketer_ · 2026-10-06
- Stripe 前高管征集：SaaS 平台如何嵌入 Agent 代购支付流 — jeff_weinstein · 2026-10-06
- DevRel 正在变味:越来越多团队并入产品或转向 PM/DevEx — gethackteam · 2026-10-06
- 4 名人类加 4 个 AI Agent 共用 Microsoft Planner 看板协调整个创业公司 — DJAI9LAB · 2026-10-06
- HyperFrames 发布面向 Agent 的视频编辑器，描述即可生成时间线 — toolstelegraph · 2026-10-06