NeoMME 实测：token 池化+非对称量化，嵌入缩小 255 倍
antoine_chaffin · x · 2026-11-12
研究者在多模态嵌入模型 NeoMME 上实测：仅用 token pooling + 非对称量化，不做任何 pooling-aware 训练，就把文档嵌入缩小 255 倍，同时保留 >95% 的 nDCG@10 检索质量。作者认为许多图像 patch 接近空内容，专门的训练还能进一步压缩。
配套工具方面，Sentence Transformers v6.3 已发布，新增 token pooling-aware 训练，可训练多向量模型在减少文档向量的同时保住检索质量；同团队的 late-interaction-kernels 开源仓库(GitHub)提供了用于 ColBERT/ColPali 类 MaxSim 晚交互打分的 融合 Triton kernel,文档含 tiling、online max 与反向传播的实现说明及 benchmark。
「研究」频道最新
- MIT 教授批「formal-washing」:Signal 协议验证只完成了一部分 — tegmark · 2026-11-12
- Signal 形式化验证达 80%，MIT 教授称 Wired 报道夸大其词 — tegmark · 2026-11-12
- 「物质何时在计算?」:用波记忆与计算闭包界定自主物理计算 — neurovium · 2026-11-12
- 范畴论视角下的物理计算:什么时候一个物理系统才算在计算? — neurovium · 2026-11-12
- Radical Numerics 将基因组大模型 Omnii-1 部署到边缘设备实时检测生物威胁 — exnx · 2026-11-12
- LessWrong 长文拆解「可验证 vs 模糊任务」:这个二分法本身有问题 — dfrsrchtwts · 2026-11-12