AMRD：面向端侧设备的轻量级语音情感识别蒸馏方案

Yuqi Li · hf · 2026-07-31

大型自监督模型在语音情感识别（SER）任务上表现优异，但高昂的计算成本限制了其在边缘设备上的部署。本文提出自适应多教师关系蒸馏（AMRD）框架，通过知识蒸馏将大模型压缩为轻量级学生模型。

该方法解决了两个痛点：一是利用单类 SVM 根据批次动态评估教师模型的可靠性并分配权重；二是引入关系蒸馏损失，对齐教师与学生模型间的样本相似度矩阵，从而保留传统逻辑匹配忽略的样本间结构信息。在 IEMOCAP 和 CREMA-D 数据集上，AMRD 在多数设置中优于单教师蒸馏基线，消融实验也证实了两个组件的互补增益。