encoder-free VLM 成风潮：新研究拆解 scaling 与架构三问
liuziwei7 · x · 2026-11-14
encoder-free 视觉语言模型正成为趋势，Gemma 4 (12B)、Inkling (276B/975B)、MAI-Base-2 (2.8T) 等新模型均采用该路线。giffmana 引用一项新研究指出两点：
- 现有的 encoder-free 模型（Gemma4-12B、Inkling1、TUNA-2 等）都只是「单点验证」，证明了可行，但对 scaling 特性毫无回答——这项新研究补上了这一环。
- 「encoder-free 与否」其实是伪二分法，背后可拆成三个独立问题：(a) 是否分开预训练、(b) 视觉参数是否独立存在、(c) 视觉参数放在 decoder 之前还是内部。
作者 liuziwei7 团队也在此方向有 EVE、NEO、SenseNova-U 等工作（BAAI 的 EVE 为 MIT 协议开源）。
所属事件:Meta FAIR 研究：多模态视觉编码关键在专用容量(6 条相关)→
「多模态」频道最新
- 哈佛 MIT 团队推出 UGG:单一扩散模型统一视频生成与 3D 几何理解 — burny_tech · 2026-11-14
- CapCut Web Ultra 限时一周无限生图，Seedream 与 GPT Image 2.5 免费用 — JaynitMakwana · 2026-11-14
- Solv3R 演示实测:3D 重建提速 2 倍,3DGS 一分钟跑完 — jonstephens85 · 2026-11-14
- 曝 Dreamina 花 8.2 万美元请人做 4 分钟 AI 视频，遭质疑 — AIandDesign · 2026-11-14
- CapCut 上线 Seedance 2.5：手机 AI Lab 与网页 Video Studio 可直出 4K 视频 — CurieuxExplorer · 2026-11-14
- BAAI 开源无编码器 VLM 系列 EVE,登 NeurIPS 与 ICCV 获 spotlight/highlight — liuziwei7 · 2026-11-14