网易有道开源流式 ASR 模型 Confucius4-R2T2
网易有道于 9 月 17 日开源流式语音识别模型 Confucius4-R2T2（Real Real-Time Transcription），规模约 2B 参数（部分帖子表述为 1.7B），基于 Qwen3-ASR 构建，采用 vLLM 后端，代码与权重已在 GitHub、Hugging Face 和 ModelScope 上线并提供在线 demo，100% 开源可免费下载运行。模型主打低延迟、高准确率的真流式识别，准确率接近离线模型；多位博主认为这标志着流式 ASR 从 demo 走向基础设施。
已确认
- 流式解码块长可在 80ms 到 2s 之间自由设置，由开发者自行权衡延迟与精度；160ms 是最小流式音频步长（minimum streaming audio step），并非端到端响应延迟——博主 VraserX 特别提醒两者的概念区别。部分帖子也以约 200ms 描述其实时转写延迟。
- 核心设计为只追加（append-only）：每个词一经识别即提交输出，已提交文本永不被重写，避免流式转写文本反复变动污染下游 agent 状态；博主 Rohan Paul 解释其思路是让 agent 增量消费语音、只对已提交文本行动，并用稳定前缀学习防止状态污染。
- 架构上采用单个 Audio Encoder + LLM 基座同时服务离线与流式识别，通过可配置 chunk 大小在延迟/质量之间调优，且离线侧不损失精度，无需维护两套会发生漂移的模型。
- 具备领域感知能力，可识别领域术语。
- 模型支持显式等待状态：博主 drcintas 转述作者观点，流式 ASR 的难点不是更快出预测，而是判断一次预测是否为时过早——传统流式架构每一步都被迫输出，音频模糊时只能依赖语言先验；错误提前输出的下游代价高于短暂停顿，因此模型宁可用等待态等证据再输出。
为什么重要
- Rohan Paul 指出，转写文本不断被改写是语音 agent 的严重生产问题，会破坏下游 agent 状态；R2T2 的稳定提交机制直接命中这一痛点。
- Rohan Paul 总结称，领域感知流式识别、单一技术栈覆盖所有延迟目标、把上下文当作一等输入而非事后补充，三者合在一起才是「基础设施」与「demo」的分水岭；稳定、领域感知的流式识别是当前真正的悬念。
- VraserX 认为，对语音 AI 而言延迟和响应性几乎与模型智力同等重要——若 AI 能在用户还在说话时就完成理解，整个交互体验将根本改变；他对这个开源模型能催生什么应用表示期待。
2026-09-17 ~ 2026-09-18 · 21 条相关
- 第 1 集:网易有道开源流式 ASR 模型 Confucius4-R2T2(2026-09-17,21 条)
- 第 2 集:网易有道开源流式语音识别模型 Confucius4-R2T2(2026-09-20,3 条)
一手来源
- 网易有道开源 2B 语音模型 Confucius R2T2，80ms 起实时转写 — dr_cintas ·
- 开源流式 ASR 模型 R2T2 发布：会用显式等待状态等证据再输出 — dr_cintas ·
- 网易有道开源 Confucius4-R2T2：流式 ASR 只追加不改写已提交文本 — rohanpaul_ai ·
- 网易有道开源 Confucius R2T2：160ms 是最小流式音频步长，非端到端延迟 — VraserX · 2026-09-17
- 网易有道开源 Confucius R2T2：160ms 流式切片边说边懂语音 — VraserX · 2026-09-17
- 语音 AI 的胜负手：延迟和响应性或与智力同等重要 — VraserX · 2026-09-17
- 语音 agent 应只消费已提交文本：R2T2 用稳定前缀学习防状态污染 — rohanpaul_ai · 2026-09-17
- 【源头】网易有道开源 Confucius4-R2T2：流式 ASR 只追加不改写已提交文本 — rohanpaul_ai · 2026-09-17
- 单一音频编码器+LLM 兼顾离线与流式识别，免维护两套漂移模型 — rohanpaul_ai · 2026-09-17
- Rohan Paul：领域感知流式识别是基础设施与 demo 的分水岭 — rohanpaul_ai · 2026-09-17
- 网易有道开源 Confucius4-R2T2：80ms 起步的真流式低延迟语音识别 — rohanpaul_ai · 2026-09-17
- 【源头】网易有道开源 2B 语音模型 Confucius R2T2，80ms 起实时转写 — dr_cintas · 2026-09-17
- 网易有道开源 2B 流式语音识别模型 R2T2:可设等待态,延迟精度自定 — dr_cintas · 2026-09-17
- R2T2 作者:流式 ASR 难点不是更快预测,而是知道何时该等 — dr_cintas · 2026-09-17
- R2T2 设计哲学:比「预测更快」更难的是知道何时该沉默 — dr_cintas · 2026-09-17
- 【源头】开源流式 ASR 模型 R2T2 发布：会用显式等待状态等证据再输出 — dr_cintas · 2026-09-17
- 网易有道开源 1.7B 实时流式 ASR 模型 Confucius4-R2T2,延迟低至 80ms — _AndrewZhao · 2026-09-17
- 网易有道开源 Confucius4-R2T2:1.7B 实时流式语音识别模型 — _akhaliq · 2026-09-18
另有 6 条近重复转述:dr_cintas · dr_cintas · socialwithaayan · dr_cintas · VraserX · rohanpaul_ai