Phoneme-Guided Initialization for LLM-based Speech Recognition
Ryo Magoshi, Shinsuke Sakai, Tatsuya Kawahara
eess.AS, cs.CL, cs.SD
2026-10-07
先用纯文本做音素到文字预训练，再端到端微调。中文10小时CER从39.1%降到11.1%（相对降72%）。
连续式语音 LLM 把编码器的帧用 projector 送进嵌入空间，再让 LLM 出转写。嵌入里靠近表示语义近，编码器里靠近表示声音近。配对的语音文本少，端到端对不齐这道缝。只训 projector 偶尔够用，通常要连 LLM 一起训，LoRA 也省不掉配对数据。文本则多得多。
低资源下级联往往更强：CTC 做语音到音素（S2P），LLM 再做音素到文字（P2G）。Li 等人把端到端的失败归到 projector，并发现 S2P 初始化编码器有用，但没有去训 LLM。级联会把前级错误传下去，日语自发口语里尤其明显。
音素适合当中间层。它比汉字、假名少得多，编码器用较少配对句就能学；LLM 则可以只读文本，学会某个音素串该写成哪个字。两边先往音素靠，再接起来微调。
京都大学的系统用 XLS-R 300M 做编码器，这是多语言自监督模型，底层 CNN 冻结。LLM 是 Qwen3.5-2B，原来带视觉，这里去掉图像编码器及其 projector。音频 projector 先把时间下采样 4 倍，再过两层 MLP。
去掉 S2P 初始化后，端到端 CER 接近 100%。后文每个端到端模型都保留了这一步，和 Base 的唯一差别是 LLM 有没有 P2G。
Jie 与 Cheng、Poncelet 等人把音素写进解码过程，模型要真的吐出音素；中文还可以拼音和汉字交错，因为一字一音节。日语汉字的读音可长可短，这么做不方便。这篇把音素限制在初始化。
两种少数据。CSJ 与 AISHELL-1 是把高资源语音砍小：日语自发口语 10 小时和 36 小时，中文朗读 10 小时、50 小时和全集。鞑靼语、乌尔都语用 Common Voice 25.0 全部数据，8.3 与 8.4 小时。中日报 CER，后两者报 WER。Base 只有 S2P，没有 P2G。
| 设置 | Base | Base+P2G | XLS-R+CTC | 级联 |
| CSJ 10 小时 CER | 20.8% | 11.7% | 13.8% | 18.1% |
| CSJ 36 小时 CER | 13.5% | 9.8% | 10.7% | 14.8% |
| AISHELL-1 10 小时 CER | 39.1% | 11.1% | 19.9% | 11.4% |
| AISHELL-1 50 小时 CER | 11.2% | 5.7% | 10.1% | 8.1% |
| AISHELL-1 全集 CER | 6.5% | 4.1% | 6.5% | 7.0% |
| 鞑靼语 WER | 41.6% | 41.6% | 56.0% | 55.8% |
| 乌尔都语 WER | 29.3% | 28.4% | 30.0% | 28.8% |
CSJ 10 小时平均 CER 从 20.8% 到 11.7%，相对降 44%；36 小时相对降 27%。AISHELL-1 相对降幅为 10 小时 72%、50 小时 49%、全集 37%。语音越少，相对收益越大，全集上仍有效。
没有 P2G 的 2B 模型，在 CSJ 10 小时上输给 300M 的 CTC（20.8% 对 13.8%）。加上之后，超过 CTC 的全部 CSJ 评测集，也在四种语言上超过级联。级联吃亏在误差传递。中文 10 小时上级联仍有 11.4%，音到字比较规整，Base+P2G 为 11.1%。
强制先吐音素，要看有没有 P2G。没有时，中文 10 小时从 39.1% 降到 18.2%，日语 10 小时从 20.8% 升到 24.3%。有了 P2G，这条路在所有设置上都更差。中文 10 小时上，混训配音素优先解码是 11.0%，只比 Base+P2G 的 11.1% 好 0.1 个点。
鞑靼语两次都是 41.6%，零提升；不做 P2G 的混训更好，40.6%。乌尔都语从 29.3% 到 28.4%。两种文字都更表音：鞑靼语是西里尔字母，乌尔都语省写短元音。日语音素来自人工标注，中文用的是多音字工具 g2pW，另外两门语言的 G2P 更泛。
同音替换占比把「音对、字错」从其余替换里分出来。中日 15 组对照，P2G 全部让该占比上升。10 小时的 Base 把「至关」写成「监管」，把 kinji 的「近似」写成 ninshiki 的「認識」。Base+P2G 写成「至」对「之」，以及同为 kaiki 的「回帰」和「快気」。多加语音时 Base 的同音占比也会升，P2G 用文本走到了相近的地方。
中日文本便宜，领域内的配对语音贵。LLM 可以在听到声音之前学会音到字，上线仍是普通转写。
边界也很清楚。10 小时中文相对降 72%，鞑靼语是 0。它解决的是语音少、文本多、文字里同音字多，不是所有低资源语言。
没做 P2G 时，CSJ 10 小时上 2B LLM 比 CTC 差 7 个点。对齐发生之后，同一个解码器才超过 CTC 和级联。全集中文从 6.5% 到 4.1%，相对幅度随数据增加变小。
文本量和音素任务绑在一起。中文多看 200 万句，日语多看 100 万句。论文把「同等文本、只做语言建模」的对照留到以后。错误转向同音混淆，和加配对语音同一方向。Qwen 本身会中日文，剩下的更像对齐，语言知识补得有限。对照没出现之前，下一词预测分走多少 CER，仍然未知。
砍小时数不是低资源语言。日语、中文的文本仍然厚，日语音素还是语料里现成的。鞑靼语文本 6.5 万句，增益没有了。语音、文本、G2P 一起缺的情况，这篇没有测。
无声调拼音把只差调的字算成同音，「至」（zhì）和「之」（zhī）进了占比，数字偏高。听错调写成错字，初始化帮不上。
编码器没有 S2P 时 CER 接近 100%。免语音只成立于 LLM；音素可由转写生成，语音-文本对仍要有。只试了 XLS-R 300M 和 Qwen3.5-2B，没有英语。级联的 LLM 还在目标转写上多适应了一轮，文本暴露不完全一样。