SCOPD自蒸馏方法让VLM剪枝后仍保留92%性能

多伦多大学团队发布 SCOPD（Sparse-Context On-Policy Self-Distillation），针对推理型视觉语言模型中视觉 token 剪枝导致的性能下降问题。研究发现，激进剪枝（如仅保留 10% 视觉 token）后 Pass@1 下降，但 Pass@K 多次采样常能找回正确答案，说明视觉证据并未丢失，而是模型未能稳定利用。通过在线自蒸馏训练，SCOPD 可恢复约 92% 的全上下文性能。

2026-09-29 ~ 2026-10-01 · 2 条相关

• SCOPD:剪枝仅留10%视觉token,VLM仍保92%性能 — uoft · 2026-09-29
• 剪枝后答案仍在：SCOPD 用在线自蒸馏找回 VLM 92% 的全上下文性能 — CSProfKGD · 2026-10-01