Qwen-Audio-3.1-ASR Technical Report
Chuanmeng Bian, Daren Chen, Peixin Chen, Zhigao Chen, Chong Deng, Zhiyun Fan, Zhifu Gao, Bo Gong, Qing Gu, Jiajun He, Yawei Hu, Yunjie Ji, Wei Ju, Jingbei Li, Xiangang Li, Xu Li, Zengxi Li, Zheng Li, Chengdong Liang, Baiji Liu, Yaming Liu, Ying Liu, Bin Ma, Yiping Peng, Yuezhang Peng, Zhendong Peng, Yu Pu, Yang Shi, Xin Shu, Jian Tang, Biao Tian, Peiyao Wang, Tianzi Wang, Wen Wang, Wupeng Wang, Cheng Wen, Yuzhong Wu, Zijian Xia, Yunchong Xiao, Nan Yang, Jianwei Yu, Jixing Yu, Binbin Zhang, Lei Zhang, Sitong Zhao, Guangdong Zhou, Yuan Zhou, Jianheng Zhuo
cs.SD, cs.CL
2026-10-21
Qwen-Audio-3.1将七语错误率从22.50%降到15.09%，Next会议cpWER为12.93%。
转写回答的是说了什么。会议还要谁在何时开口，环境声和音乐也变不成字。上一代 Qwen-Audio-3.0-ASR 已覆盖 30 种语言和 16 种汉语方言，历史转写、分层热词、解码内润色都在，输出仍是平文本。轮流发言、短回应和重叠说话一压扁，对话结构就丢了。
Qwen-Audio-3.1-ASR 是阿里 Token Foundry 的下一代产品族。它继续做识别，并输出带说话人标签和时间戳的结构化转写。描述、时间定位和问答只在 Next 变体打开。流式不做这两项。
模型由音频编码器、适配器和 MoE 解码器组成。指令和可选文本条件决定输出转写、方言翻译、润色稿、说话人分段，或是对录音的描述与回答。辅助 CTC 只为热词和长音频上下文提供粗假设。
训练六段。编码器的部分层从 Qwen3 初始化，再以 BEST-RQ 在千万小时级无标注语音上自监督，再用 Paraformer-V2、Whisper-large-v3、SenseVoice 的伪标签做 AED，解码器训完即丢。Audio LLM 约 2000 万小时，编码器冻住，适配器与 Qwen 语言模型初始化的解码器一起对齐。Cooldown 约 100 万小时，重平衡语言和方言。VibeVoice 重识别后，和原参考 WER 大于 0.3 的样本删除，不用新结果替换参考。
SFT 更新编码器和适配器，基座 LLM 冻住，解码器只训 LoRA。方言指令可选留方言用词或译成普通话。润色与识别在同一次解码里完成，去掉填充词、结巴和自我更正。热词分 P0、P1，前者优先，证据不足不写入。历史转写可前置，当前音频仍是主证据。
说话人输出为一行一段。同一录音内标签一致，时间可以重叠，标签不代表现实身份。说话人 ID 只占监督 token 的 2.90%、损失的 1.97%，时间戳占损失的 49.51%，因此交叉熵只对它乘 10。时间戳量化到 80 毫秒，对齐 12.5 Hz。
强化学习用 FunVerl 跑 GRPO，采样和更新异步。奖励优化 WER、DER、cpWER 和 tcpWER。多教师 on-policy 蒸馏把转写、说话人分离和音频理解灌进同一学生，文本教师用 Qwen3.5，分数打在学生自己采样的前缀上。
中英干净集上，3.1 相对 3.0 基本持平。AISHELL-1 的 CER 从 1.03% 到 1.08%，FLEURS-en 从 4.17% 升到 4.72%，LibriSpeech-other 从 2.24% 降到 2.19%。
七个中英集里有四项最低：FLEURS-zh 2.25%，对照腾讯 Hy-ASR-3.0-preview 的 2.38%；FLEURS-en 4.72%，对照 Fun-ASR-Flash 的 4.95%；LibriSpeech-clean 1.23% 对 1.35%；LibriSpeech-other 2.19% 对 2.51%。相对降幅为 5.5%、4.6%、8.9%、12.7%。AISHELL-1、AISHELL-2、WeNetSpeech-net 仍是 Fun-ASR-Flash，错误率 0.76%、1.93%、3.83%，3.1 为 1.08%、2.05%、4.37%。
GigaSpeechBench 七个东亚和东南亚语言全部最低，宏平均 15.09%，上一代 22.50%，相对降 32.9%。Doubao-ASR 为 22.76%，Gemini-3.1-Pro 为 27.69%，GPT-4o Transcribe 为 41.89%。泰语从 16.22% 到 7.75%，日语从 28.48% 到 18.47%。Common Voice 八语宏平均 3.74%，日语从 5.64% 到 1.40%，韩语从 3.09% 到 0.73%，西语和法语仍是上一代更低。FLEURS 九语宏平均 3.85%，好于上一代的 4.94%，高于 Azure 的 3.25%。
公开方言宏平均 CER 4.55%，Doubao 7.15%，腾讯 4.61%，比腾讯低 0.06 个百分点。内部 16 方言宏平均 10.38%，对照 20.23% 和 17.13%，11 个子集最低。温州话 19.21%，基线为 68.22% 和 64.74%。译普通话的语义句准确率，Doubao 三个子集 88.03% 对 78.69%，腾讯四个子集 89.03% 对 77.53%。南昌话从 57.44% 到 89.26%，粤语 93.55%，略低于腾讯的 94.15%。
15 个行业里九项实体召回最高、两项并列，区间 94.9% 到 99.5%。人工智能、农业、商贸物流高出 2.3、2.2、2.1 个百分点，四个领域仍是腾讯领先。P0 热词召回 97.95% 到 99.46%，每类都最高；两个 P1 类目未拿到最高。
四集宏平均 cpWER：Next 12.93%，3.1 为 14.12%，MOSS-Transcribe-Diarize 15.13%，Gemini-3.5-Transcribe 32.48%。Next 的 MMAU 为 81.60%，Gemini-3.1-Pro 为 80.90%；MMSU 为 82.24%，对方为 85.30%。
| 设置 | 指标 | Qwen-Audio-3.1 | 对照 |
| 七语宏平均 | 错误率 | 15.09% | 上一代 22.50% |
| 说话人分离四集 | cpWER | 12.93% | MOSS 15.13% |
| MMAU / MMSU | 准确率 | 81.60% / 82.24% | Gemini-3.1-Pro 80.90% / 85.30% |
| 内部 16 方言 | CER | 10.38% | Doubao 20.23% |
| 中英七集 | 最低项 | 4/7 | Fun-ASR-Flash 拿下三项 |
增量在三类任务：东亚和东南亚语言、汉语方言、要留下说话人和时间的会议。中英朗读集没有拉开上一代，三个中文集仍是 Fun-ASR-Flash 更低。
说话人分离只在非流式 Flash 与 Next，音频理解只有 Next。流式不带说话人标签，句末用全句刷新。热词和历史上下文是解码条件。润色在同一次解码里完成，只出现在 Message、Flash 和 Next。方言另有一个开关：留方言用词，或译成普通话。
它更接近产品能力说明。说话人 ID 乘 10、时间戳对齐 80 毫秒，是少数写清了原因的设计。
报告写明，行业实体增益没有单独拆出。两家方言列表各缺八种，都不含温州话，内部宏平均因此掺有覆盖差异。温州话掉到 19.21%，基线仍在 60% 以上。
语义句准确率不看语言形式，方言和普通话只要意思等价即算对。判分模型是 Qwen3.7-Max。子集与人工一致率 95.35%，全量仍由同厂模型打出。
FLEURS-en 的错误率比上一代高出 0.55 个百分点。多语增益集中在所测亚洲语言，西语和法语仍是上一代更低，FLEURS 宏平均也高于 Azure 的 3.25%。两个 P1 类目没有最高召回。
说话人损失加权和时间戳量化没有绝对数字，80 毫秒是时间戳上限。可读部分没有把 RL 和蒸馏的贡献拆开。流式延迟和长音频上下文的定量结果，本次可读章节里没有。训练数据不公开，外部复现没有起点。