LLaVA-NeXT 时代的多裁切方案:AnyRes 超参难调成通病
gabriberton · x · 2026-10-19
gabriberton 线程回顾 2024-2025 年多数开源 MLLM 采用图像多裁切(multi-cropping)方案,代表有 LLaVA-NeXT、InternVL、Gemma 3、Molmo,具体形式包括 AnyRes、Pan&Scan、重叠裁切等,但彼此大同小异。
问题在于 multi-cropping 复杂度更高,每个模型都要调超参:裁几块、什么分辨率、是否重叠。配图为 LLaVA-1.5 技术报告中 AnyRes 动态高分辨率示意图,展示 2×2 网格切分、编码后 flatten 送入 LLM 的流程,称其在性能与成本间平衡。
所属事件:MLLM 视觉编码四年演化:从裁块走向原生多模态(8 条相关)→
「多模态」频道最新
- Pika 插件演示 Motion Transfer:一张图加一段视频即可迁移舞蹈动作 — lmoroney · 2026-10-19
- Midjourney sref 风格码组合:把《玩具总动员》角色变成日式动画风 — sergeantsref · 2026-10-19
- 开发者用 Go+HTMX 打造开源版 Higgsfield:Utsushi 视频换人平台 — _playlogic_ · 2026-10-19
- Fizgig 8.6 发布:补训 block 22 提升 MOSS-Image 相似度 — shootthesound · 2026-10-19
- AI 生成奇幻短片《废墟遭遇战》展示电影级战斗场面 — QuiteOak · 2026-10-19
- 用 Krea2 风格库提示词跑 MOSS Image,出图氛围惊艳 — Large_Election_2640 · 2026-10-19