Meta 把 30B 解码器改成双编码器,一个模型兼管选择题决策与百万级检索

MetaEncoder: Exploring the Limit of Bi-Encoders for Multimodal System One Decision Making with Natural Language Interface

Jianpeng Cheng, Guangyu Sun, Aashu Singh, Benyu Zhang, Haixing Dai, Hossein Mansour, Jiangfan Zhang, Shlok Kumar Mishra, Wei Sun, Xuanming Cui, Yanli Liu, Qi Guo, Max Xiangjun Fan, Jun Xiao

cs.CL, cs.AI

2026-10-08

Meta 对比双编码器、交叉编码器、约束解码三种打分架构,据此把 30B 解码器全量微调成 MetaEncoder,14 项评测中 11 项最高。

这篇在解决什么

生产系统里有一类任务不需要模型写长文本,只需要从一组候选里快速选一个,并给出可信的概率分布。Agent 路由、工具选择、内容审核、条目排序都是这种场景。论文把这类模型叫 System One(快速直觉式决策)。

打分有三条路线,但此前没有人在同一套设置下比过它们。双编码器(bi-encoder)把请求和每个候选各自编码成向量,用余弦相似度打分。交叉编码器(cross-encoder)把请求和候选拼在一起过完整注意力,精度高但贵。约束解码(constrained decoder)把所有选项编号 A/B/C 塞进同一个提示词,读下一个 token 在这些编号上的概率。选哪条,要在精度、模型规模和推理成本之间权衡,却缺少受控对照。

方法

第一部分是对照实验。六种规模(0.6B 到 9B)的预训练解码器分别改造成三种打分器,用 1000 万条请求-候选对训练,在 1.4 万道选择题上评测。

第二部分是 MetaEncoder。它选了双编码器路线,理由是候选向量可以离线缓存,候选池再大延迟也基本不变。具体设计如下:

结果

对照实验的结论分四点:

候选的写法也有影响:

候选渲染MMLU(v0)MMMU(v0)MMLU(v1)
只写标号0.65120.49830.4760
只写描述0.74560.56290.8320
标号+描述0.77670.57880.8360

主表对比 OpenJev-27B(文本交叉编码器)、Jev-Omni(基于 Gemma4-12B 的多模态约束解码)、WeMM-Embedding(9B)和 Qwen3-VL-Embedding(8B)。论文称 MetaEncoder v1(全量微调)在 14 项评测中 11 项最高,并在 MMEB-V3 图像和视频检索上刷新 SOTA。抽取出的主表格式错乱,逐项数字无法可靠核对,这里不引用。

选项顺序随机打乱 10 次,各基准标准差都不超过 0.003。

为什么重要

如果业务既有几个选项的小决策,又有百万级候选的检索,这篇给了一个可操作的结论:一个双编码器可以两头兼顾,候选向量预先缓存。代价是封闭集精度略逊于交叉编码器,这一点论文自己也承认。

训练侧的装箱做法对想把大解码器改成编码器的团队有参考价值,属于工程优化,不是新算法。

局限与存疑

论文自己承认的天花板在推理。Muse-Glimmer 不开思维链直接选答案,MMMU 只有 0.49,开思维链是 0.72。给 MetaEncoder v0 前置思维链,MMMU 从 0.57 升到 0.71,删掉答案标签后仍有 0.68。这说明打分模型的瓶颈是缺少推理,复杂组合推理任务上它有明显短板。

视频上,8 帧到 16 帧提升 0.08,到 64 帧不再提升,计算量却是 8 帧的 8 倍,高层推理类任务甚至略有回退。

另有几处没验证:

术语

原文与代码

社区讨论

相关论文

全部论文解读