LiveKit:语音 agent 600ms 才像人,延迟是预算而非指标
AI Engineer · youtube · 2026-10-11
LiveKit 开发者布道师 Jesse Hall 在 AI Engineer World's Fair 2026 演讲,讲解如何做出「感觉像人」的语音 agent:
- 排行榜陷阱:榜单只测单个模型,但你上线的是 pipeline;STT→LLM→TTS 各环节误差会复合累积
- 测量延迟≠感知延迟:仪表盘说快,用户仍觉得机械
- 关键窗口:端到端 1.5 秒内可用,约 600ms 才开始「像人」;要把延迟当预算来分配
- 音频级 turn detection:LiveKit 方案用户被截断率 4.5%,优于最佳替代的 9.9%;还演示工具调用期间像人一样用停顿争取时间
- 附酒店前台 demo(可处理打断与改主意)、可跑在自己 agent 上的开源 benchmark,以及语音调优 Gemma 模型在 LiveKit Inference 上的预览和一份 checklist
「编程与Agent」频道最新
- PHP/node.js/GitLab 大规模安全事件后，Cognition 开源 Devin 修复插件 — Scobleizer · 2026-10-23
- 用 Grok 机器人+租 GPU，个人微调模型变得触手可及 — Rasmic · 2026-10-23
- 一句 prompt 挖出 PHP 预认证 RCE：Agent 辅助漏洞挖掘实录 — chrisrohlf · 2026-10-23
- AutoRouter 公测：按任务难度自动在 Claude/GPT 等模型间分单省 token — floguo · 2026-10-23
- Speak 详解 GPT-Live 实时语言家教:如何用低延迟决策实现即时纠错 — pbbakkum · 2026-10-23
- Google Live API 新增决策触发器，比 function call 更快 — pbbakkum · 2026-10-23