NeoMME:单塔多模态多语言编码器,260M 版检索成绩超同级模型
CShorten30 · x · 2026-09-03
论文提出 NeoMME，一个 260M 与 800M 参数的多模态原生多语言编码器家族：用单个双向 Transformer 同时处理多语言文本 token 和原始图像 patch，无需预训练视觉塔、文本编码器或解码器，以掩码离散扩散文本目标从零预训练。
- 支持 16,384 token 上下文，足够编码两张 4K UHD 图像
- 微调出密集 + late-interaction 检索头后，NeoMME-Retriever 260M 在 ViDoRe v3 上以 0.523 nDCG@10 超过所有 800M 以下模型，800M 版达 0.556
- 在 L40S 上以 2048x2048 输入对比，260M 版编码页面吞吐约为 ColModernVBERT 的 2 倍
- 层级 token 池化与非对称量化可压缩 late-interaction 多模态文档嵌入，降低检索成本
所属事件:NeoMME 单塔多模态多语言编码器发布，260M 版 ViDoRe v3 领跑(7 条相关)→
「多模态」频道最新
- 这张绝美星云照是 AI 处理的:Argon 从 JWST 原始数据生成 W51A — fofrAI · 2026-10-21
- Cornell 新作「Purify Before You Align」:先滤掉可预测信息,diffusion 对齐更有效 — volokuleshov · 2026-10-21
- Mistral 发布 Voxtral 3：支持 50+ 语言的实时语音 agent 全栈 — The Decoder · 2026-10-21
- 虚拟网红 JataJett 完整人设表曝光:从三视图到动作模式一站打包 — CurieuxExplorer · 2026-10-21
- 全 AI 流水线打造「巴黎半价城市游」讽刺短片 — DavidmComfort · 2026-10-21
- AI Agent 剧集《The Sage》更到第 8 集:全片用 Invideo Agent 制作 — Kavanthekid · 2026-10-21