Google DeepMind 拆解语音到语音模型:三个目标互相牵制
AI Engineer · youtube · 2026-09-15
Google DeepMind 语音到语音(Gemini Live 团队)产品负责人 Valeria Wu Fon 与工程师 Tom Ouyang 的访谈:
- 演进:2018 年前语音识别是特征提取、声学/发音/语言模型加重打分的级联；端到端模型简化了链路但只做单一任务，语气、情绪、语速仍需自行拼装。
- 原生多模态:模型直接在音频、视频、文本上联合预训练，例如用西语提问时模型会自然保留英语借词 mid century，无需任何手写规则。
- 三难张力:对话性(低延迟)、智能性(任务完成)、双向多模态(视频/屏幕/文档输入)三者此消彼长——调高思考预算，智能分上升，首音频延迟立刻恶化。
- 演示:多说话人会议实时同传、路边救援 agent 读出车牌与邮编、以及 proactive audio——模型知道背景噪音不是对它说的。
「模型」频道最新
- 别再按月租智能了:Anthropic 服务端新规再掀开模型之争 — alex_verem · 2026-11-02
- Epoch AI 实验：GLM 5.3 连续攻破 6 个 Firefox 版本，单次成本约 1000 美元 — rohanpaul_ai · 2026-11-02
- SemiAnalysis：安全分类器压分，Opus 5.5 与 GPT-6 Astra 排名被低估 — morqon · 2026-11-02
- 1.7B 本地模型 LFM3 在 MacBook 上首次答对曼城赛程查询 — NielsRogge · 2026-11-02
- Similarweb：Claude 升级页流量 9 月回升至 1760 万，逼近 5 月峰值 — firstadopter · 2026-11-02
- 开源 GLiNER-PII 单卡 550ms 抓出病历 13 项身份标识,仍漏医院名 — MaziyarPanahi · 2026-11-02