每个LLM层该看哪层ViT？DGP动态路由让LLaVA七项指标全涨

机器之心 · wechat · 2026-11-10

西北工业大学与港科大提出 DGP(Dynamic Gated Pathways):不再固定取 ViT 最后一层做视觉输入，而是让每个 LLM 层都能访问全部 ViT 层，根据当前图像-问题上下文动态分配融合权重，把「哪层视觉信息连到哪层语言层」变成可学习的路由问题。

机制：插入可学习 glimpse token 作为查询，各 ViT 层 [CLS] 作键值，经共享交叉注意力+各层独立路由 MLP 生成 Softmax 权重，按 patch 位置融合后以门控残差写回；预训练加熵正则防止路由过早塌缩
成绩：LLaVA-1.5-7B 上 11 项指标全部超过基线，SQA-I +4.2、MM-Vet +3.3;Qwen3-VL-2B 与 LLaVA-NeXT 上同样一致增益
关键消融：均匀平均全部 24 个 ViT 层反而大幅掉点(MM-Vet 30.5→25.3),证明收益来自学习到的动态权重
可视化：问颜色纹理时路由偏向浅层，问语义历史时偏向深层；同一张图换问题，权重分布随之改变
开销：7B 上参数 +5.29%、FLOPs +4.07%,峰值显存基本不变

「模型」频道最新