Confucius4-R2T2: A Stable-Prefix Streaming ASR Model for Real Real-Time Transcription
Daniel Huang, Qi He, Shaoxiong Duan, Yingjie Li, Qiao Cheng, Yitao Duan
cs.CL, cs.AI, cs.SD
2026-11-04
有道流式改造 Qwen3-ASR 得到 R2T2:吐字永不修改,宏平均误差 5.76 反超商用 API,仅落后全量解码 0.6 个点。
流式 ASR 的输出越来越多是给机器消费的:实时字幕、机器同传、voice agent 都在每个 token 一出现就接着干活。下游一旦基于某个字启动了动作,这个字后来被推翻就是白算,agent 甚至可能已经调错工具。传统流式识别恰好在改口:音频越攒越多,早先吐出的字不断被重写,文献里叫 flicker。把完整音频切片逐步喂给全量模型,正确 token 数也不单调增长,新来的尾部会干扰已识别的部分,论文称之为 residual interference。所以「已释放的文本永不修改」应该和准确率、延迟同级。已有解法要么是推理期提交规则(local agreement:连续两次假设的公共前缀才放行;hold-n:扣住末尾 n 个 token),要么是间接训练(prefix training、self-training,让模型见过随机截断的输入)。都只能压低改口率,没有「永不改口」的保证。
这篇把稳定性定义成纯行为约束:任意时刻的输出必须是之后输出的前缀,编码器是否因果、注意力怎么分块一概不管,然后靠训练直接做进去。
R2T2 由 Qwen3-ASR-1.7B 后训练而来:1,500 小时私有中英语料,配噪声、混响、语言标签翻转增广;全程冻结 300M 参数的音频编码器和 projector,只训语言解码器,不加层、不改注意力掩码、不因果化。此前因果化 Whisper 编码器的工作在 300ms 以上 chunk 精度反而受损,冻结能保住双向表征,截断音频的失配交给解码器兜底。
核心是 Longest Stable Prefix(LSP,最长稳定前缀)标注。音频按 80ms 一帧逐步喂给教师(就是基础模型自己,自蒸馏)解码,拿完整音频的输出当终稿;LSP 是截至当前的所有历史输出里,整条恰好都是终稿前缀的那条中最长的一条。三个关键选择:
推理侧四项优化都不改模型:编码器 8 秒注意力窗口的 KV 缓存复用;预测到 Wait 就结束本次更新,静音段只花一次 pre-fill;上下文封顶,只保留最近 1 个完成窗口(最多 16 秒音频加转写);可撤销的 U 个 token 后缀用 speculative decoding(草稿加验证)式的 pre-fill 验证代替重新生成。U 在推理时切换:U=1 偏质量,U=0 偏低延迟,不用重训。
选底座时顺手提出 streamability 指标:逐步喂音频画 LSP 曲线、取 AUC。在 1,860 条 Buckeye 语料上,Qwen3-ASR-1.7B 归一化后 0.493 排第一;因果化微调的 WhisperRT 甚至低于自己全量解码的底座,输出不稳把 LSP 拖短了。
13 个测试集(8 英文、5 中文),160ms chunk,总宏平均(WER/CER,即词、字错误率,%):
| 配置 | 误差 |
| 基座离线全量解码(参照) | 5.15 |
| 基座 2s chunk、U=5(参照) | 5.25 |
| 基座 160ms、未适配 | 21.01 |
| R2T2 160ms、U=1 | 5.76 |
| R2T2 160ms、U=0 | 6.40 |
| X-ASR 200ms | 8.97 |
| Nemotron 3.5 | 14.21 |
| Voxtral Realtime | 19.35 |
| AssemblyAI | 8.27 |
| 商用 API A / B | 6.23 / 6.01 |
R2T2(U=1)的 5.76 在全部参评配置里最低,压过 AssemblyAI 和另外两家商用 API,而这几家的部分假设都是可改口的非稳定输出。同一个 160ms 设置下,未适配基座是 21.01,误差降了近四分之三;基座跑 U=0 更是严重幻觉、停不下来,连误差都评不了。离基座自己的全量解码只差约 0.6 个点,VoxPopuli 一项(2.29 对 3.12)还反超了全量。延迟侧,中英文平均 emission lag(输出前缀永久稳定的时刻减去参考词的音频结束时刻)都低于三家商用 API;商用 A、B 的中文准确率更高,但文本稳定得更晚。80ms chunk 加 U=0 是延迟档,两种语言平均回顾延迟都在 0.5 秒内,误差升到 6.40。跨语言:只用中英后训练,10 个额外语言共 18 个测试集上全部低于同设置基座;在贴近真实长语音的 RealSI(同传现场长音频)两个语料上,R2T2 也领先参评配置。
对做字幕、同传、voice agent 的人,「吐出即终稿」省掉一整层下游工程:不用再写 finalize 策略去猜部分假设哪段能信,界面上的字也不会来回跳。权重和代码在 HuggingFace 与 GitHub 开源,解码器 1.7B、编码器冻结,加上有界上下文,单次更新成本不随流的长度增长。方法本身是个可搬的配方:LSP 标注加 Wait token 加冻结编码器,不改架构就把全量模型转成稳定流式;streamability 还给了「哪个底座值得转流式」一个在花大钱后训练之前就能先测的答案。
作者自述:延迟是音频时间轴上的回顾值,不含执行、排队、传输,RTF<1 的前提没有用运行时测量验证;streamability 能否推广到 ASR 之外、更强的教师能否带来更好的流式模型,都是 open question;reward 八个分量没有受控消融。另有几处:1,500 小时训练数据私有,复现只能依赖开源权重;LSP 标签保守、偏晚吐字,代价只被定性承认;API 延迟按送入音频量估计,服务端 buffering 不可知;flicker 频率本身没测,不过 R2T2 的稳定是构造性的,影响有限。离全量那 0.6 个点里有多少是流式的本质代价,论文没拆。