循环视觉语言模型改造法:剪层加递归,参数省 23.3% 反超原基线
HildeKuehne · x · 2026-10-31
Iyengar、Andreas Geiger 与 Hilde Kühne 的 arXiv 论文(2610.22075):将深度递归「改造」进预训练视觉语言模型,以压缩参数量。
方法要点:
- 从 VLM 的语言 backbone 剪掉部分层,循环复用剩余层的一个子集;每步用线性 adapter 将该 block 输出与前面层的 token 表示融合后投影回 block
- 三阶段恢复训练:先语言预训练恢复 backbone,再对齐视觉-语言 projector,最后视觉指令微调全模型;第一和第三阶段用知识蒸馏(从原非递归模型蒸馏)加速恢复
- 在 TinyLLaVA-1.4B backbone 上验证,未引入新视觉-语言数据
结果:改造后的递归模型在使用相同恢复数据时,语言参数减少 23.3%,性能反而超过未剪枝基线。
消融发现:block 级递归优于 layer looping;adapter 很关键;知识蒸馏有帮助;训练时使用可变递归次数能让模型对不同推理迭代数更鲁棒。
所属事件:剪层再循环策略将预训练VLM改造为循环模型(3 条相关)→
「研究」频道最新
- 自编码器实验再证：去除激活偏置让表征演化单调平滑 — ZimingLiu11 · 2026-10-31
- 常用激活函数暗藏 bug,均值非零致 loss spike — ZimingLiu11 · 2026-10-31
- 「生物学只是数据问题」被一个 lncRNA 打脸，ANRIL 复杂到建模崩溃 — iskander · 2026-10-31
- KAN + TabPFN 组合提升 scaling 预测：OOD 误差最高降 80% — ZimingLiu11 · 2026-10-31
- 预注册训练曲线预测：TabPFN 14 个后续检查点全部命中 — ZimingLiu11 · 2026-10-31
- KAN 作者议训练曲线预测:微调 LLM 不如表格基础模型 TabPFN — ZimingLiu11 · 2026-10-31