HuggingFace开源模块化语音Agent流水线,本地运行兼容OpenAI Realtime
solyarisoftware · x · 2026-08-09
HuggingFace 推出 speech-to-speech 语音 Agent 流水线,完全基于开源模型,可在本地运行。该流水线高度模块化,每个组件可替换,各阶段通过队列连接并独立线程运行。它暴露了与 OpenAI Realtime 兼容的 WebSocket API,现有客户端只需更改 URL 即可指向此服务器。
工作流程包括:
- 语音活动检测(Silero VAD v5)
- 语音转文本(支持实时部分转录)
- 语言模型生成响应(流式文本和工具调用)
- 文本转语音合成并流式返回
每个阶段都有多种可互换的后端,可通过 CLI 标志选择。完全本地设置可结合 llama.cpp 运行 Gemma 4 等模型。
「编程与Agent」频道最新
- AI写代码不等于解决业务问题:企业级软件工程的核心痛点 — DanWahlin · 2026-08-09
- AI圈激辩:编排大模型的智能体框架算不算「神经符号」? — inductionheads · 2026-08-09
- Seedance 2.5 结合 Claude Code,打造爆款超写实 UGC 视频工作流 — EXM7777 · 2026-08-09
- AI编程队友 Superconductor 正式上线 Slack 应用市场 — sergeykarayev · 2026-08-09
- 长文档智能体怎么做记忆?开发者探讨超长上下文之外的架构 — foric0 · 2026-08-09
- 爆料:下周将迎 Grok 4.6 与 Cursor Composer 3 — mark_k · 2026-08-09