MLLM 视觉编码四年演化：从裁块走向原生多模态

gabriberton 于 10 月 19 日发布长推线程，系统梳理了多模态大模型（MLLM）视觉组件过去四年的「苦涩教训」式演化，并展望下一代架构方向。核心结论是：视觉编码正从「缩放 + ViT + 适配器」的传统路径，走向原生分辨率整图直喂，乃至完全抛弃 ViT 的原生多模态模型；但作者本人对最后一步持保留态度。

已确认

• 2023 年早期方案（LLaVA 时代）：图像被缩放到中等分辨率（如 336×336），经 ViT 和适配器传入 LLM，是 MLLM 视觉组件演化的起点。
• 2024–2025 年多裁块方案成为主流：大多数开源 MLLM 采用图像多裁块策略，代表包括 LLaVA-NeXT、InternVL、Gemma 3、Molmo，具体形式有 AnyRes、Pan&Scan、重叠裁块等。
• 原生分辨率方案兴起：过去难点在于 ViT 预训练通常在 224-448px 固定小方块上，而原生分辨率图像可达 1k×1k 以上；如今多数实验室的直接解法是把整张图以原生分辨率喂给模型，并设较高 token 上限（如 Qwen3-VL 的 16k tokens），代表还包括 Kimi 系列。
• 原生多模态（NMM）崭露头角：一些模型已完全去掉 ViT，像素几乎直接通过单个线性层或小型 MLP 进入 LLM，代表包括 Gemma 4 12B、Inkling 和 Tuna-2。
• 作者对 NMM 持保留态度：针对 Meta 论文预测未来 MLLM 将是无视觉编码器的原生多模态模型，gabriberton 表示质疑，认为这类架构难以处理长上下文。

为什么重要

• 该线程呈现了视觉编码从「为 ViT 迁就分辨率」到「让模型直接消化原始像素」的完整脉络，呼应 Scaling Laws 式的苦涩教训：更简单、更通用的架构随算力扩展最终胜过精巧设计。
• 作者对 NMM 的质疑为「ViT 将被淘汰」的流行判断提供了反方视角，长上下文处理可能是原生多模态路线的关键瓶颈，值得从业者持续关注。
• 对从业者而言，原生多模态路线可能意味着 ViT 与适配器等组件在未来模型中的地位变化，是判断多模态架构趋势的重要参考。

2026-10-19 ~ 2026-10-19 · 8 条相关

• 【源头】MLLM 视觉组件四年进化史:从 LLaVA 裁块到原生多模态 — gabriberton · 2026-10-19
• MLLM 进化史第2弹:2023 年 LLaVA 的 336×336 简单方案 — gabriberton · 2026-10-19
• MLLM 进化史第3弹:2024-25 主流的多裁块方案 AnyRes — gabriberton · 2026-10-19
• 【源头】多模态模型的苦涩教训:整图原生分辨率直喂,token 上限 16k — gabriberton · 2026-10-19
• LLaVA-NeXT 时代的多裁切方案：AnyRes 超参难调成通病 — gabriberton · 2026-10-19
• MLLM 视觉编码演进：ViT 原生分辨率微调加 2D RoPE 成主流方案 — gabriberton · 2026-10-19
• 下一代多模态模型开始抛弃 ViT，像素经单层线性直入 LLM — gabriberton · 2026-10-19
• 【源头】作者反驳 Meta 原生多模态路线:NMM 难处理长上下文 — gabriberton · 2026-10-19