68M 小编码器胜 435M DeBERTa:闭集决策该逐项打分而非联合阅读
Tardelli Ronan Coelho Stekel · hf · 2026-10-27
Crivo 团队系统研究 LM 管线末端的闭集决策(如工具选择)该用多小的编码器、以及联合阅读选项还是逐项打分。
主要结论:
- 3200 万参数、三种子实验中,逐项打分(per-option)在 37 基准决策套件的留出样本上比联合打分高 5.8 分机会校正得分,近似等算力下高 2.8 分
- 该优势依赖 reranker 初始化(query-candidate 对输入恰好匹配逐项阅读);从原始编码器出发两种读法无差异
- 逐项打分需 5–13 倍编码器前向:中位延迟最多 2 倍,但平均延迟超 4 倍
- 发布的 6 个联合编码器(17M–1B)中,68M 和 150M 模型在 209 个重叠审计的 System1-Arena 任务上超过 435M DeBERTa-v3 零样本分类器 4.9 和 5.9 个准确率点,145 个未见任务上不落下风
- 最小模型 16 线程中位响应 14 毫秒,分类器需 728 毫秒;重排选项会改变联合模型 12–23% 的答案,逐项打分为零
权重开源,展示了小编码器在工具路由类任务上对 LLM 提示的替代价值。
「研究」频道最新
- EdgeRock 架构 256K 上下文 KV 缓存仅 72 MiB,比 Qwen3.5-4B 省 99.1% — alifcoder · 2026-10-27
- Equivariant Music Transformer 入选 ISMIR 2026 最佳论文提名 — umpedronosapato · 2026-10-27
- Deedy 补充 ETH 推翻说法的 OpenAI 与 Claude 两份文档链接 — deedydas · 2026-10-27
- 曝 OpenAI 与 Claude 模型各自独立给出 3-SAT 次指数算法，ETH 或被推翻 — deedydas · 2026-10-27
- ETH 人形机器人用头戴 LiDAR 感知地形,机上 30ms 实时建图 — ChongZzZhang · 2026-10-27
- 纽约大学等研究发现：主流 AI 模型过度使用增加阅读难度的语言模式 — andrewaltair · 2026-10-27