H Company 发布 NeoMME:260M 模型以 1/14 参数追平 ColQwen2.5 检索成绩
tomaarsen · x · 2026-09-07
H Company 开源 NeoMME,一组 260M/800M 的多语言多模态编码器,采用单塔双向 Transformer,文本 token 与原始图像 patch 从头联合训练(掩码离散扩散目标),不依赖预训练视觉塔或因果解码器,上下文 16,384 token。
关键点
- 基于 ColPali 页面图检索方案,可直接检索文档页(含图表),无需 OCR 步骤
- NeoMME-Retriever 单次前向同时输出 dense 与 late-interaction 两类向量,可先 dense 索引召回再用 late interaction 重排
- ViDoRe v3 上 260M 得 0.523 nDCG@10,与 3.75B 的 ColQwen2.5-v0.2(0.524)几乎持平,参数少约 14 倍;800M 达 0.556
- L40S 上 260M 每秒编码约 51 页,约为 ColModernVBERT 的 2 倍
- 层级 token 池化 + 非对称量化把 late-interaction 索引从约 1.5MB/页压到 6kB(255 倍),保留 95% 以上 nDCG@10
- Sentence Transformers 集成:MultiVectorEncoder 检索文档页;dense 检查点支持 Matryoshka 维度(1281792),可 truncatedim=256 缩向量;HierarchicalTokenPooling(poolfactor=2)可减半页面 patch 向量
- 同一检查点也支持跨语言纯文本文档检索,用 MeanMaxSim 打分
全部检查点以 Apache 2.0 开源,含技术报告与 Visual RAG demo。
所属事件:H Company 开源 NeoMME 多模态编码器，小模型追平 ColQwen2.5(2 条相关)→
「模型」频道最新
- GPT-6.1 Terra 事实错误率从 22.3% 降至 4.3%，降幅近 81% — haider1 · 2026-10-27
- GPT-6.1 Terra 发布:早期用户称写作与 computer use 表现亮眼 — BenBajarin · 2026-10-27
- GPT-6.1 Terra 跑分曝光:成本低至 Sol 一半,追不平 Astra — Angaisb_ · 2026-10-27
- Artificial Analysis 更新智能指数 v4.3.2，GPT-6.1 Terra 参与横评 — ArtificialAnlys · 2026-10-27
- AA 实测:GPT-6.1 Terra 幻觉率降 50%,准确率还升 2 分 — ArtificialAnlys · 2026-10-27
- AA 实测 GPT-6.1 Terra:编码 Agent 得 48 分,成本仅前代三分之一 — ArtificialAnlys · 2026-10-27