流式语音翻译模型如何抢话开口：READ/WRITE 门控架构拆解
Gauri_the_great · x · 2026-11-03
Gauri 详解流式 speech-to-speech（S2S）模型如何决定在说话人未讲完时何时开口，以具体架构为例：
- 整体流程：编码部分语音 → 预测承诺（commitment）→ 生成目标文本 → 合成语音。
- 音频编码：按 640ms 源音频分块处理，带 160ms 前瞻；block-causal adaptor 将 16 个编码状态压缩为 8 个位置，后续编码层无法看到下一块。
- Thinker：处理源音频特征与已提交目标文本的交错序列，每个输入间隔用 MLP 将最终归一化隐藏态映射为 p(WRITE)。低于阈值 τ 则 READ 下一块源音频，高于则 WRITE 一段翻译文本。
- Talker：接收 8 层 Thinker 的通道加权混合（而非只用最终文本状态），生成 codec tokens，再经冻结的 flow-matching 解码器与 vocoder 转为音频。
- 时序监督：语义对齐的双语片段 force-align 到音频，源端点作为 WRITE 目标、中间边界作为 READ 目标；训练混合文本预测、codec 预测与门控分类。
- 实用控制：音频缓冲区还有内容时调高 τ 以积累更多上下文，缓冲区空时调低 τ 以更早响应。
- 局限：门控预测的是标注的承诺决策，而非翻译正确性。
「研究」频道最新
- 前沿大厂网络安全评测用 SEC-Bench Pro：183 个真实漏洞考 agent 写 PoC — NielsRogge · 2026-11-03
- AI 安全研究者 Lynch 博士毕业：论文揭示对齐模型的持续性脆弱 — StephenLCasper · 2026-11-03
- 浙大团队提出 PrimaCons 基准:揭示 Jev 跨原语决策不一致性 — Xu Liu · 2026-11-03
- 浙大等提出 MACR 框架:置信度接力式多智能体协作,token 开销降 6 倍 — Xu Liu · 2026-11-03
- MIT 权重空间编程被指或为持续学习的真正突破口 — daniel_mac8 · 2026-11-03
- 评测研究者 LChoshen 宣布加入魏茨曼科学研究所创办 CoLab — LChoshen · 2026-11-03