Fewer Tokens, More Self-Teaching: On-Policy Self-Distillation for Extreme Visual Token Reduction
Junxian Li, Ruixuan Yang, Tianao Zhang, Tiange Xu, Weisheng Dong, Yulun Zhang
cs.CV, cs.CL, cs.LG
2026-09-26
Qwen3.5-4B只留5%视觉token时,LT-OPD把九项平均保留率从68.6%拉到82.3%。
视觉token砍掉之后,多模态大模型的prefill会便宜很多。FastV、DivPrune、CDPruner、HiPrune这类免训练剪枝,在保留20%或15%时平均能力还能撑住。预算压到5%,九项平均保留率掉到59.0%到77.6%。只争论该留哪些token,已经救不了这个档位。
压缩还改了生成轨迹。学生每一步的预测分布会偏离全token模型,下一步又拿自己刚吐出的token当上下文,偏差往下滚。EPIC、LLaVA-Mini、LearnPruner把监督打在固定训练集前缀上,推理时学生真正走进去的状态它们没见过。低预算同时少了视觉证据,也换了一条学生自己的生成路径。
LT-OPD把同一套Qwen3.5拆成两个角色:可训练的低token学生,和一份冻结的全token拷贝当教师。前端用CDPruner按问题相关性和条件多样性筛视觉token,学生只留比例r,教师看全部。
单步训练长这样:
这里的on-policy指监督状态来自学生当前策略。教师并不另开一条生成。训完只部署压缩学生。
5%预算下学生开局的rollout往往已经崩,对上的状态离教师太远。所以训练时视觉配额按课程走:前14个update留25%,再按cosine降到5%,第101到175步钉死在5%。α取2,终点β=5%。数据是自建LT-14K,14000道单图题,来源包括LLaVA-Instruct、OneThinker、PixMo和Vision-OPD。8张A100、175步、15.1小时,学生的语言模型、视觉编码器和visual merger全部更新。
主表是Qwen3.5-4B、5%视觉token、九项benchmark的平均保留率,即各项分数除以全token上界再平均。
| 方法 | 5%预算平均保留率 |
| CDPruner未训练 | 68.6% |
| DivPrune(最强免训练) | 77.6% |
| EPIC(训练基线) | 73.7% |
| 同压缩+SFT | 70.4% |
| 固定前缀JSD加课程 | 77.6% |
| DAPO(最强RL对照) | 78.2% |
| LT-OPD去掉课程 | 81.5% |
| LT-OPD | 82.3% |
九项里八项是5%档最优。V Bench 74.9,对照DivPrune的70.7;MME 2077.0,对照1915.4;OCRBench 535,对照477。5%的LT-OPD平均保留率还高过所有10%免训练方法,那些最高到80.2%。
换骨架同样涨。Qwen3.5-9B从71.1%到81.4%,GLM-4.6V-9B从73.8%到86.3%,LLaVA-OV-1.5-4B从71.8%到84.1%。附录多图MuirBench 52.0、视频理解MVBench(16帧均匀采样)55.6,平均保留78.3%,高于CDPruner的65.7%和EPIC的69.8%。
KV cache从26.59MB降到3.93MB,少85.2%;prefill FLOPs从6.002T降到0.878T,少85.4%,和HiPrune同为0.146倍全量,比EPIC的0.200倍少约27%。端到端时延从1331.5ms到1293.7ms,只有1.029倍,解码仍占大头。
给已经决定砍视觉token的部署加一次训练,不是再发明一个剪枝器。推理零额外开销,算力和HiPrune同一档,相对HiPrune在5%上的60.4%保留率高出21.9个百分点。能接受8卡十几小时全参微调、主要想砍prefill和KV的团队,可以接在现有CDPruner流水线上。
极端压缩下,固定前缀蒸馏停在77.6%,SFT停在70.4%,都不如让学生走自己的轨迹。GRPO、GSPO、DAPO能把未训练的68.6%抬到75.8%至78.2%,仍低于分布蒸馏。全token教师的下一步分布比任务奖励密得多。
这是渐进改进。MMMU从全量77.6掉到50.0,TextVQA从81.2掉到56.0,知识和读字没有被完整捞回来。
论文没有单独写局限。能看见的缺口如下。
训练必须挂全token教师,部署省了,训练显存和算力没省。学生视觉编码器也全参更新,比只训adapter贵。课程超参s1=14、s2=100、α=2是经验值。拿掉最后的5%平台期,平均保留率从82.3%掉到79.5%,这75步hold很关键,论文没解释必须钉这么久的原因。
评测时延几乎没动。砍掉85%的prefill FLOPs只换来1.029倍端到端加速,对解码主导的在线服务帮助有限。主实验全是单图。多图和视频只在附录各测一个集,MVBench还是16帧均匀采样。论文写「不依赖最好的token选择」,实际训练绑死CDPruner,没有把LT-OPD接到HiPrune或DivPrune上交叉。
目标函数也不是唯一最优。附录里Reverse KL平均保留率82.8%,略高于主表JSD的82.3%,JSD主要在感知类集上更强。做OCR的人可能该换成KL。