港科大等提出动态门控通路：ViT 全层接入 LLM 提升多模态表现
HKUST · hf · 2026-11-09
西北工业大学与港科大等机构在论文《Where to Connect?》中研究多模态大模型中「视觉信息该接到哪」的问题。主流 MLLM 只将固定的单层视觉表征注入 LLM,而该工作提出 Dynamic Gated Pathways:把 ViT 每一层都与 LLM 每一层相连,让每个 LLM 层通过门控动态选择所需的视觉粒度。在 LLaVA-1.5 基线上取得一致的多模态性能提升。
「多模态」频道最新
- 霓虹动能风出图模板：运动模糊+明暗强对比，附可直接套用 prompt — LudovicCreator · 2026-11-09
- AI 生成「Two of Fucks」塔罗牌梗图，骷髅中指笑翻网友 — MickeySteamboat · 2026-11-09
- AI 动画恐怖短片《THE SECRET MASKS》挑战日式怪谈叙事 — IntentionSubject2843 · 2026-11-09
- AnimaEdit 发布:Anima 参考图与指令式图像编辑 LoRA — Intrepid_Swim_8669 · 2026-11-09
- Midjourney 新风格码 --sref 2219508089 实测：小怪兽系列出图 — michaelrabone · 2026-11-09
- 字节发布 Seedream 5.5:支持 100 轮稳定编辑与原生透明背景 RGBA 输出 — lyraxana · 2026-11-09