剪层再循环:预训练 VLM 改造成循环模型,语言参数省 23.3% 反超基线
HildeKuehne · x · 2026-10-31
Hilde Kühne 团队发布新论文《Retrofitting Recurrent Vision-Language Models from Pretrained Backbones》,提出 prune-then-loop 策略,把现成预训练 VLM 改造成深度循环模型。
核心做法
- 从 VLM 的语言骨干中剪掉一部分层,循环复用剩余层子集
- 每次循环用线性 adapter 将块输出与前一层的 token 表示融合后投影回块内
三阶段恢复训练
- 纯文本预训练修复语言骨干
- 图文训练恢复 projector 对齐
- 视觉指令微调整体精调
第一阶段和最后阶段还从原非循环模型做知识蒸馏加速恢复。
结果(在 TinyLLaVA-1.4B 上验证,不引入新视觉语言数据)
- 改造后的循环模型语言参数减少 23.3%,平均 58.13 分,反超同等恢复训练数据的未剪枝基线(55.80)
- 提升集中在推理型 benchmark:SEED、AI2D、CV-Bench
- 消融显示提升来自循环本身而非恢复训练;块级循环优于逐层循环,adapter 和蒸馏都很关键;训练时用可变循环次数可让模型对不同推理深度更鲁棒。
所属事件:剪层再循环策略将预训练VLM改造为循环模型(3 条相关)→
「研究」频道最新
- 高中生一作论文「Image-Space Rule Discovery」中稿 ACCV 2026 — HirokatuKataoka · 2026-10-31
- OpenAI 研究员悬赏：全力形式化全部数学，或自动化数学研究 — willdepue · 2026-10-31
- 微软研究院开源 Agensh:1024 个 AI 智能体无中央编排协作编程 — JafarNajafov · 2026-10-31
- 清华团队发布流式动作分词器 ActionCodec2，抓取率达 FAST 的 5 倍 — ZeYanjie · 2026-10-31
- OpenAI 流出资料藏硬核数学:Log-Sobolev 结果配 KLS 前沿进展 — IgorCarron · 2026-10-31
- 「可能存在」的数据结构：图解 Bloom Filter 工作原理 — YashasGunderia · 2026-10-31