Whisper 编码器剪枝 6 层,无标注蒸馏恢复 WER 至 20.1%
Rasmus Aagaard · hf · 2026-09-24
- 研究者提出对 Whisper 编码器做层级剪枝:按 leave-one-out 的词错率（WER）变化对编码器各层排序，移除影响最小的 6 层（占编码器堆叠的 18.5%），得到更浅的编码器，无需自定义推理代码。
- 针对零样本剪枝带来的性能退化，用无标注单语语音数据做蒸馏恢复：四语言平均 WER 从剪枝后的 21.9% 降到 20.1%（基线为 18.2%）。
- 背景是 decoder 剪枝已被广泛采用（whisper-large-v3-turbo 将 decoder 从 32 层减到 4 层，Distill-Whisper 减到 2 层），但 encoder 剪枝此前缺乏可行方案。
- 代码与剪枝后模型均已开源（GitHub + Hugging Face：whisper-large-v3-turbo-encoder-pruned）。
「研究」频道最新
- GeoPair 免训练压缩 Transformer,跨层配对分解达 SOTA — MTSAIR · 2026-09-24
- HF 论文:校准应成为 LLM 评测的一等公民指标 — Mario Sanz-Guerrero · 2026-09-24
- FLEET 用熵轨迹记忆替代重复采样:速度 3 倍,LiveCodeBench 涨 6.3 点 — Oleksii Streltsov · 2026-09-24
- CheatBench 数据引争议：Kimi 作弊率 72.3%，几乎所有 agent 都会作弊 — davidmanheim · 2026-09-24
- 价值观对齐证据互相矛盾：涌现失准研究呈现脆弱图景 — gleech · 2026-09-24
- Anthropic 新论文：语言模型内部存在可报告的全局工作区 — gleech · 2026-09-24