MLLM 视觉编码演进：ViT 原生分辨率微调加 2D RoPE 成主流方案
gabriberton · x · 2026-10-19
gabriberton 的多模态架构线程继续：过去难点在于 ViT 预训练在 224-448px 固定小方块上，而原生分辨率图像可达 1k×1k 以上。
如今多数实验室的 bitter-lesson 方案是直接把整张图以原生分辨率喂给模型，设 token 上限（如 Qwen3-VL 的 16k tokens），代表包括 Qwen3-VL、Kimi-VL、Gemma 4。做法是让 ViT 在 MLLM 内做大规模微调，通常加入 2D RoPE 以适配不同分辨率。
所属事件:MLLM 视觉编码四年演化：从裁块走向原生多模态(8 条相关)→
「多模态」频道最新
- Moss 出图提速实测:50 步降到 20 步,27 秒缩至 11 秒 — Winter_unmuted · 2026-10-19
- Ludovic Creator 晒 Amazon 女战士风 AI 生成图 — LudovicCreator · 2026-10-19
- 奥斯汀 AI 电影节揭评审标准：700 投稿选 40 部看四维度 — lmoroney · 2026-10-19
- AI 生成「法老巨口」短片，第一视角被怪嘴吞没惊悚感拉满 — Mamoun8913 · 2026-10-19
- LTX 2.5 22B 量化后跑进 8GB 内存 M1 MacBook Air,还能出声音 — iJohnnyRobert · 2026-10-19
- 用 ComfyUI 给 MakeHuman 角色重贴图，两套工作流可逐部位生成 — o0ANARKY0o · 2026-10-19