MLLM 视觉组件四年进化史:从 LLaVA 裁块到原生多模态
gabriberton · x · 2026-10-19
gabriberton 发布长推线程,梳理多模态大模型(MLLM)视觉部分四年来的「苦涩教训」式演化,并展望未来。
- 2023 早期方案(LLaVA 时代):图像缩放到中等分辨率(如 336×336),经 ViT + 适配器传入 LLM,架构简单。
- 2024–2025 主流方案:多裁块(multi-crop)——LLaVA-NeXT、InternVL、Gemma 3、Molmo 等都采用 AnyRes、Pan&Scan、重叠裁块等变体,复杂度高且每个模型都需调超参(裁块数量、分辨率、是否重叠)。
- 当前趋势:多数实验室转向「苦涩教训」解法——直接把整图以原生分辨率喂给模型,设 token 上限(如 Qwen3-VL 的 16k tokens),代表有 Qwen3-VL、Kimi-VL、Gemma 4。
- 未来之争:Meta 论文认为下一代将是无视觉编码器的原生多模态模型(NMM),像素经单层线性层/小 MLP 直接进 LLM(如 Gemma 4 12B、Inkling、Tuna-2);作者不同意,认为未来反而需要更多编码器,并指出 NMM 无法压缩视觉数据,长上下文处理效率受限。
所属事件:MLLM 视觉编码四年演化：从裁块走向原生多模态(8 条相关)→
「模型」频道最新
- 用户吐槽：Claude Slack 集成对个人账户体验最差 — akumar · 2026-10-19
- DeepSeek 新版 3D 能力追平 Astra，作者称早有预言：开源追赶极快 — bookwormengr · 2026-10-19
- 投资人支招 Google:蒸馏 Argon 做小模型,定价 Luna 五成可登顶 OpenRouter — bindureddy · 2026-10-19
- DeepSeek V4.1 Flash 闯入搜索能力榜前十，开源模型首次 — gaganghotra_ · 2026-10-19
- 从业者：KV cache 压缩已让 1M 上下文可控,年内应见 2.5M 模型 — khademinori · 2026-10-19
- VoxelBench 2 进入收尾阶段，Fable 5.5 模型跑分亮眼 — koltregaskes · 2026-10-19