下一代多模态模型开始抛弃 ViT，像素经单层线性直入 LLM
gabriberton · x · 2026-10-19
gabriberton 线程指出未来方向：一些模型已完全去掉 ViT，像素几乎直接通过单个线性层或小型 MLP 进入 LLM，代表包括 Gemma 4 12B、Inkling 和 Tuna-2，这类架构被称为原生多模态模型（Native Multimodal Models, NMMs）。
此前方案是让 ViT 在 MLLM 内以 2D RoPE 大规模微调来支持原生分辨率，NMM 则更进一步砍掉独立视觉编码器。
所属事件:MLLM 视觉编码四年演化：从裁块走向原生多模态(8 条相关)→
「多模态」频道最新
- Moss 出图提速实测:50 步降到 20 步,27 秒缩至 11 秒 — Winter_unmuted · 2026-10-19
- Ludovic Creator 晒 Amazon 女战士风 AI 生成图 — LudovicCreator · 2026-10-19
- 奥斯汀 AI 电影节揭评审标准：700 投稿选 40 部看四维度 — lmoroney · 2026-10-19
- AI 生成「法老巨口」短片，第一视角被怪嘴吞没惊悚感拉满 — Mamoun8913 · 2026-10-19
- LTX 2.5 22B 量化后跑进 8GB 内存 M1 MacBook Air,还能出声音 — iJohnnyRobert · 2026-10-19
- 用 ComfyUI 给 MakeHuman 角色重贴图，两套工作流可逐部位生成 — o0ANARKY0o · 2026-10-19