Tolan 工程师复盘：慢了半秒毁掉所有指标，语音 AI 应用该怎么造
AI Engineer · youtube · 2026-09-15
AI Engineer 播客访谈 Tolan（外星人造型语音陪伴应用，累计语音对话超 400 万小时）iOS 工程师 Paula Dozsa，核心观点：语音不是给 LLM 应用加一个模态，而是推翻了文本应用的地基——文本是慢轮次+稳定上下文，语音是快轮次+易变上下文，用户边做饭边聊、话说一半换话题、随时打断。
关键工程经验：
- 半秒之殇：响应延迟从 2 秒漂移到 2.5 秒，几乎所有产品指标齐跌，用户主动来信抱怨。团队从『减少打断』转向『减少错误的打断』：用语音模式做轮次检测，宁可多付 60ms 延迟也要把最糟的过早截断减半。
- 逐阶段测量：管线每一段单独计时，「感觉慢」说明不了任何问题。
- 按情绪权重路由：每轮用廉价分类器判断情绪重要性，用户首次对话用最强模型、闲聊用小模型——约 1/3 轮次可跑小模型且留存无可见损失。
- 记忆是检索系统：每晚压缩合并重复、消解矛盾，而非存逐字稿。
- 每轮重建上下文：为了缓存复用旧上下文，会在用户换话题时『自信地错』。
「编程与Agent」频道最新
- 设计师一条 prompt 让 GPT 几分钟生成完整作品集站，附三工具横评 — Tegadesigns · 2026-09-15
- Liquid AI 开源 antidoom 训练法：用 FTPO 破解小模型 doom loop — helloiamleonie · 2026-09-15
- Claude Code 自动批准有风险,作者整理 Agent 沙箱选型地图 — minchoi · 2026-09-15
- 写代码成本趋零后,程序员都成了「产品工程师」 — rseroter · 2026-09-15
- 工程负责人：shadcn/lint 正是我想要的设计系统 linter，准备迁移 — shadcn · 2026-09-15
- 一个 prompt 生成整款 3D 射击游戏，ASTRA 编排 Thrixel 出资产 — RanaHanocka · 2026-09-15