LLaVA-NeXT 时代的多裁切方案:AnyRes 超参难调成通病

gabriberton · x · 2026-10-19

gabriberton 线程回顾 2024-2025 年多数开源 MLLM 采用图像多裁切(multi-cropping)方案,代表有 LLaVA-NeXT、InternVL、Gemma 3、Molmo,具体形式包括 AnyRes、Pan&Scan、重叠裁切等,但彼此大同小异。

问题在于 multi-cropping 复杂度更高,每个模型都要调超参:裁几块、什么分辨率、是否重叠。配图为 LLaVA-1.5 技术报告中 AnyRes 动态高分辨率示意图,展示 2×2 网格切分、编码后 flatten 送入 LLM 的流程,称其在性能与成本间平衡。

所属事件:MLLM 视觉编码四年演化:从裁块走向原生多模态(8 条相关)→

原文链接 →

「多模态」频道最新

更多「多模态」频道 AI 资讯 →