Lychee-FD开源全双工语音模型
机器之心 · wechat · 2026-07-16
哈工大深圳立知团队发布并开源了原生端到端全双工语音大模型 **Lychee-FD**，目标是让语音交互从“轮次式问答”走向“持续倾听、实时理解、自然回应”的类人全双工交流。 文章先指出了原生全双工语音模型难做好的两个根因：**声学建模与语义建模在深层参数空间里会产生梯度冲突**，以及**高频语音信号会稀释稀疏的文本语义监督**，导致模型要么更流畅但更“降智”，要么保住语义但延迟更高。为此，团队提出**层次化语义-声学建模框架**：浅层共享主干，深层拆分为语义、声学和对话控制通道，并通过密集语义对齐缓解稀释问题。 实验上，Lychee-FD 在 SpokenQA 上平均提升 7.4%，在 FullDuplexBench1.5 上平均提升 28.5%，并在 3 个全双工语音交互基准的 10 个指标上达到领先。工程上，团队还基于 vLLM 改造了**实时并行多流推理框架**，将多个通道并行化，带来 2.96 倍提速和 23% 显存降低；同时加入**控制头早退**策略，让打断和切换响应更快。文章还展示了该模型驱动的数字人和实体机器人 Demo，并强调其已开源，便于复现与扩展。