网易有道开源流式ASR模型Confucius4-R2T2

第 1 集 · 网易有道开源流式 ASR 模型 Confucius4-R2T2(2026-09-17,21 条)

网易有道于 9 月 17 日开源流式语音识别模型 Confucius4-R2T2（Real Real-Time Transcription），规模约 2B 参数（部分帖子表述为 1.7B），基于 Qwen3-ASR 构建，采用 vLLM 后端，代码与权重已在 GitHub、Hugging Face 和 ModelScope 上线并提供在线 demo，100% 开源可免费下载运行。模型主打低延迟、高准确率的真流式识别，准确率接近离线模型；多位博主认为这标志着流式 ASR 从 demo 走向基础设施。

已确认

• 流式解码块长可在 80ms 到 2s 之间自由设置，由开发者自行权衡延迟与精度；160ms 是最小流式音频步长（minimum streaming audio step），并非端到端响应延迟——博主 VraserX 特别提醒两者的概念区别。部分帖子也以约 200ms 描述其实时转写延迟。
• 核心设计为只追加（append-only）：每个词一经识别即提交输出，已提交文本永不被重写，避免流式转写文本反复变动污染下游 agent 状态；博主 Rohan Paul 解释其思路是让 agent 增量消费语音、只对已提交文本行动，并用稳定前缀学习防止状态污染。
• 架构上采用单个 Audio Encoder + LLM 基座同时服务离线与流式识别，通过可配置 chunk 大小在延迟/质量之间调优，且离线侧不损失精度，无需维护两套会发生漂移的模型。
• 具备领域感知能力，可识别领域术语。
• 模型支持显式等待状态：博主 drcintas 转述作者观点，流式 ASR 的难点不是更快出预测，而是判断一次预测是否为时过早——传统流式架构每一步都被迫输出，音频模糊时只能依赖语言先验；错误提前输出的下游代价高于短暂停顿，因此模型宁可用等待态等证据再输出。

为什么重要

• Rohan Paul 指出，转写文本不断被改写是语音 agent 的严重生产问题，会破坏下游 agent 状态；R2T2 的稳定提交机制直接命中这一痛点。
• Rohan Paul 总结称，领域感知流式识别、单一技术栈覆盖所有延迟目标、把上下文当作一等输入而非事后补充，三者合在一起才是「基础设施」与「demo」的分水岭；稳定、领域感知的流式识别是当前真正的悬念。
• VraserX 认为，对语音 AI 而言延迟和响应性几乎与模型智力同等重要——若 AI 能在用户还在说话时就完成理解，整个交互体验将根本改变；他对这个开源模型能催生什么应用表示期待。

• 网易有道开源 Confucius R2T2：160ms 是最小流式音频步长，非端到端延迟 — VraserX · 2026-09-17
• 网易有道开源 Confucius R2T2：160ms 流式切片边说边懂语音 — VraserX · 2026-09-17
• 语音 AI 的胜负手：延迟和响应性或与智力同等重要 — VraserX · 2026-09-17
• 语音 agent 应只消费已提交文本：R2T2 用稳定前缀学习防状态污染 — rohanpaul_ai · 2026-09-17
• 网易有道开源 Confucius4-R2T2：流式 ASR 只追加不改写已提交文本 — rohanpaul_ai · 2026-09-17
• 单一音频编码器+LLM 兼顾离线与流式识别，免维护两套漂移模型 — rohanpaul_ai · 2026-09-17
• Rohan Paul：领域感知流式识别是基础设施与 demo 的分水岭 — rohanpaul_ai · 2026-09-17
• 网易有道开源 Confucius4-R2T2：80ms 起步的真流式低延迟语音识别 — rohanpaul_ai · 2026-09-17
• 网易有道开源 2B 语音模型 Confucius R2T2，80ms 起实时转写 — dr_cintas · 2026-09-17
• 网易有道开源 2B 流式语音识别模型 R2T2:可设等待态,延迟精度自定 — dr_cintas · 2026-09-17
• R2T2 作者:流式 ASR 难点不是更快预测,而是知道何时该等 — dr_cintas · 2026-09-17
• 网易有道开源 2B 语音模型 Confucius R2T2，200ms 实时转写 — dr_cintas · 2026-09-17
• 网易有道开源 2B 流式 ASR 模型 R2T2,延迟仅 200ms — dr_cintas · 2026-09-17
• R2T2 设计哲学:比「预测更快」更难的是知道何时该沉默 — dr_cintas · 2026-09-17
• 开源流式 ASR 模型 R2T2 发布：会用显式等待状态等证据再输出 — dr_cintas · 2026-09-17
• 网易有道开源 1.7B 实时流式 ASR 模型 Confucius4-R2T2,延迟低至 80ms — _AndrewZhao · 2026-09-17
• 网易有道开源 2B 语音模型 Confucius R2T2,实时转写延迟仅 200ms — socialwithaayan · 2026-09-17
• 网易有道开源流式 ASR 模型 Confucius4-R2T2,解码块 80ms 起可配 — dr_cintas · 2026-09-17
• 网易有道开源 Confucius R2T2:流式 ASR 解码块可低至 80ms — VraserX · 2026-09-17
• 网易有道开源流式 ASR 模型 Confucius4-R2T2,永不改写已提交文本 — rohanpaul_ai · 2026-09-18

还有 1 条相关讨论 →

第 2 集 · 网易有道开源流式语音识别模型 Confucius4-R2T2(2026-09-20,3 条)

网易有道发布并开源实时语音识别模型 Confucius4-R2T2，模型基于 Qwen3-ASR 架构，登上 Hugging Face 热门榜单，代码仓库已上线 GitHub。该模型主打真流式、低延迟，延迟仅 200600ms，细粒度解码块可在 80ms2s 之间调整，并采用「只增不改」的流式输出方式，已输出的文本永不修改，实现「实时字幕不跳字」的效果。

• 网易有道开源 Confucius4-R2T2 实时语音识别，延迟仅 200~600ms — aigclink · 2026-09-20
• 网易有道开源 Confucius4-R2T2 流式语音识别，解码块 80ms~2s 可调 — aigclink · 2026-09-20
• 网易有道 Confucius4-R2T2 语音识别模型登 HF 热榜，主打流式低延迟 — netease-youdao · 2026-09-20