论文提出原生多模态架构 NEO：从零训练挑战视觉编码器
liuziwei7 · x · 2026-08-16
针对视觉语言模型（VLM）中视觉编码器的争议，新论文 "From Pixels to Words" 提出了原生 VLM 的构建原则，并发布了 NEO 模型系列。核心观点认为最好的 encoder 就是不需要 encoder，且从零训练（train from scratch）总是胜出。NEO 模型通过共享语义空间有效对齐像素和词表示，无缝整合视觉和语言模块，在 3.9 亿图像文本对上从零开始训练，显著缩小了与传统模块化顶级模型的差距。
「多模态」频道最新
- 80万 Gaussian Splat 跑在 WebGPU，a16z 合伙人称可近无限扩展 — generativist · 2026-10-16
- Nano Banana 2.1 上线 Perplexity Computer，全量用户可用 — ChrisUniverse · 2026-10-16
- 3D 场景相机自由运镜演示:输入图定向摆放,镜头轨迹精确可控 — XRarchitect · 2026-10-16
- 手把手教你训练自己的 LTX IC-LoRA：全程用 Grok Bot 代劳 — PurzBeats · 2026-10-16
- HF 开源 TTS 排行榜上线：8K+ 模型时代用客观指标替代竞技场 — dl_weekly · 2026-10-16
- Flux 3 Klein 实测:氛围光照出色,生物细节比例崩坏 — Schattenmensch · 2026-10-16