R2T2 流式 ASR 技巧：冻结音频编码器，只调语言解码器
dr_cintas · x · 2026-11-06
drcintas 简述流式语音识别工作 R2T2（基于 Qwen3-ASR）的训练配置：
- 用约 1500 小时中英文音频做后训练；音频编码器与 projector 全程冻结，只更新语言解码器；不改架构。
- 两阶段流程：先 SFT，再用 GRPO 做强化学习。
- 关键洞见在训练目标而非架构，因此无需改动即可兼容 vLLM/Transformers 直接部署。
结论：一个轻量、可复现的流式化改造路径——不动多模态前端，只在语言侧做目标函数层面的工作。
所属事件:网易有道开源 Confucius4-R2T2：永不改写的流式语音识别(8 条相关)→
「研究」频道最新
- MIT 与斯坦福推出机器人自主教材，融合经典机器人学与 AI 且免费在线 — GioeleZardini · 2026-11-07
- UIUC 发布 OpenFrontiers:开放研究问题库+科学再发现评测基准 — Jiarui Yao · 2026-11-07
- 二核苷酸打乱保留 CA 起始子,基因组模型负样本设计有坑 — anshulkundaje · 2026-11-07
- 负样本选错致漏掉 GATA motif,ProCapNet 团队复盘教训 — anshulkundaje · 2026-11-07
- 模型可预测并解释细胞型特异 TSS 用法,MEF2 motif 实证 — anshulkundaje · 2026-11-07
- 斯坦福团队用 200+ ENCODE 数据集训练 ProCapNet，绘制人类转录起始序列图谱 — anshulkundaje · 2026-11-07