R2T2 流式 ASR 留了两个坑：跨语言机制未析、分块定长不自适应
dr_cintas · x · 2026-11-06
drcintas 对流式 ASR 工作 R2T2（基于 Qwen3-ASR）的技术评论，指出论文未充分解决的两点：
- 跨语言迁移机制不明：仅用中英文训练，流式增益却扩展到 10 种语言的 18 个测试集（表格显示 160ms 延迟下平均 WER/CER 从 30.75 降至 8.40/9.60）。作者推测收益来自冻结编码器的语言无关声学表征，但建议补充编码器多语言能力的消融实验。
- 推理时 chunk 定长：chunk 大小的延迟-精度权衡可配置但固定，作者提出按音频复杂度自适应调整分块（如嘈杂环境用更大 chunk）可进一步压延迟而不损精度。
前一条回复中还提到：LSP 目标基于基座模型全上下文输出，故流式模型稳定性上限受制于 Qwen3-ASR 全上下文质量，可改用自一致 LSP。
所属事件:网易有道开源 Confucius4-R2T2：永不改写的流式语音识别(8 条相关)→
「研究」频道最新
- LeanPRM：用 Lean 合成数据训练自然语言数学证明验证器 — Pavel_Izmailov · 2026-11-07
- LeanPRM:用 Lean 自动标注 15.2 万步骤,4B 验证器准确率 48.2→74.7 — Pavel_Izmailov · 2026-11-07
- 用 Lean 自动生成数据训练验证器，可查自然语言数学证明错误 — Pavel_Izmailov · 2026-11-07
- UW与Ai2发布s³：多智能体RL让LLM集群自组织，性能超best-of-N — StellaLisy · 2026-11-07
- Maxwell:让编码智能体在训练中重新设计网络架构，AIME 从 64% 提至 71% — GabGarrett · 2026-11-07
- 研究者吐槽 ICLR 评审质量:评审竟比被评论文还差 — nsaphra · 2026-11-07