网易有道开源 Confucius4-R2T2：永不改写的流式语音识别
网易有道于 11 月 6 日在 arXiv 发布论文并开源 Confucius4-R2T2，一个「永不改写」的流式语音识别模型。drcintas 在系列解读中指出，流式 ASR 的隐痛是模型会不断 revise 已输出的文本，导致字幕闪烁、语音 agent 反复重处理同一句话——这已从体验问题演变为系统问题。R2T2 的承诺是：文本一旦输出即不再修改，特别适合翻译器、语音 agent 等逐 token 消费识别结果的机器场景，避免 revise 带来的无效工作。
已确认
- 模型基于 Qwen3-ASR，不改架构；音频编码器与 projector 全程冻结，只更新语言解码器。
- 用约 1500 小时中英文音频做后训练，分两阶段流程。
- 核心贡献不是新架构，而是新的训练目标 LSP（Longest Stable Prefix）：在每个时间步找到全上下文模型已「提交」的最长文本前缀作为训练目标，用显式机制保证「永不改写」。
- 160ms chunk 下质量优先配置（U=1）在 LibriSpeech Clean 取得 WER 1.91%，GigaSpeech Clean 等亦有结果（原文提及两组配置差异）。
- 流式增益扩展到 10 种语言的 18 个测试集。
尚未确认
- drcintas 指出跨语言迁移机制不明：仅用中英文训练，流式增益却泛化到多种语言，论文未解释原因。
- 分块策略采用定长 chunk，不具备自适应性，论文未充分讨论。
为什么重要
- 对逐 token 消费 ASR 输出的下游系统（翻译器、语音 agent、字幕）而言，「永不改写」消除了重复处理与闪烁问题，是工程价值明确的特性。
- LSP 作为形式化训练目标，把「稳定前缀」这一行为约束变成可学习目标，为流式生成类模型提供了可借鉴的思路。
2026-11-06 ~ 2026-11-06 · 8 条相关
一手来源
- R2T2 流式 ASR 技巧：冻结音频编码器，只调语言解码器 — dr_cintas ·
- 网易有道开源 Confucius4-R2T2:永不改写的低延迟流式语音识别 — dr_cintas ·
- 网易有道开源 Confucius4-R2T2:永不改口的流式语音识别模型 — _akhaliq ·
- 【源头】网易有道开源 Confucius4-R2T2:永不改口的流式语音识别模型 — _akhaliq · 2026-11-06
- 流式 ASR 的隐痛:输出反复改写,R2T2 用「永不改写」应对 — dr_cintas · 2026-11-06
- R2T2 真正贡献不是架构而是训练目标:LSP 的形式化定义 — dr_cintas · 2026-11-06
- LSP 训练目标如何让 R2T2「永不改写」:论文机制与行为对照 — dr_cintas · 2026-11-06
- 网易有道 R2T2 流式语音识别解读:160ms 延迟下 WER 低至 1.91% — dr_cintas · 2026-11-06
- R2T2 流式 ASR 留了两个坑：跨语言机制未析、分块定长不自适应 — dr_cintas · 2026-11-06
- 【源头】R2T2 流式 ASR 技巧：冻结音频编码器，只调语言解码器 — dr_cintas · 2026-11-06
另有 1 条近重复转述:dr_cintas