语音 Agent 关键是低延迟

AI Engineer · youtube · 2026-07-20

这场演讲讨论：语音 Agent 的关键不是更大的模型，而是更低的延迟。作者在一个 AI 语音导师里使用小而快的模型，因为语音场景里“第一 token 的时间”比基准分更重要。\n\n核心思路是把记忆、教学规划、下一步决策等职责交给确定性系统，模型只负责输出自然语言；也就是说，脚手架不是降本附属品，而是让小模型可用的前提。视频还强调，若延迟预算被压到大约 7 分钟里那种“秒级”门槛，模型选择会被现实强行收敛。