LiveKit 工程师拆解语音 Agent：1.5 秒延迟预算与打断处理
AI Engineer · youtube · 2026-10-26
LiveKit 的 Jesse Hall 在 AI Engineer 分享如何构建面向金融服务的拟人语音 agent，核心观点是「你交付的是一段对话，而排行榜只给单个组件打分」，因此选型不能只看模型榜单。
关键指标
- 用 time to first audio 替代 time to first byte，用 time to first sentence 替代 time to first token 来衡量体验。
- 整体延迟预算约 1.5 秒，其中 500-600ms 才真正接近人类对话感受。
工程做法
- 用异步工具调用把慢速后端工作藏起来，像人一样在等待时继续说话。
- 音频感知的 turn detection 决定何时该听、何时该说，是打断不崩的关键。
- 对比级联流水线（ASR+LLM+TTS）与 speech-to-speech 两种架构的取舍。
- 用模拟呼叫者对自家技术栈做基准测试，并给出上线前检查清单。
演讲含酒店预订 agent 的现场 demo。
「编程与Agent」频道最新
- 有人把 Ethan Mollick「更进取」建议做成 /be-ambitious 技能 — daniel_mac8 · 2026-10-26
- 实测 Grok Bot：无法编辑既有 Google Sheet 等三大槽点 — koltregaskes · 2026-10-26
- 19 分钟让 Claude Code 学会剪辑师风格，自动产出整条 Reel — PrajwalTomar_ · 2026-10-26
- 论文：Agent 生产翻车主因是上下文失控而非推理能力 — import_jmr · 2026-10-26
- 8 篇文章 6 个视频:开源课程手把手从零构建 Claude Code — kalyan_kpl · 2026-10-26
- EpochAI 审查 8 个 Agent 基准:仅 1 个通过,3 个有缺陷 — May_F1_ · 2026-10-26