UltraBERT 登顶小型编码器:GLUE 91.0、BEIR 47.7,上下文 32K 开源
kalyan_kpl · x · 2026-10-14
新款开源 BERT 类编码器 UltraBERT 发布,在分类和检索两类任务上同时达到 SOTA:GLUE 91.0、BEIR 47.7,超过 Ettin BERT、ModernBERT 以及原版 BERT/RoBERTa。
关键技术点:
- 使用两种掩码比例(5% 利于分类,50% 利于检索),并配两个独立的 LM head
- 上下文长度 32K tokens,是 ModernBERT 的 4 倍
- 提供 150M 和 380M 两个规格,用 1.3B 教师模型蒸馏训练
- 训练数据超过 2 万亿 tokens
- 权重已在 Hugging Face 开源
对做嵌入/检索的开发者来说,这可能是小型编码器的新默认选择。
所属事件:UltraBERT 开源发布，小编码器登顶分类与检索双榜(3 条相关)→
「模型」频道最新
- Fish Audio Drama 3 登陆 vLLM:35B 语音模型单卡 H200 跑 128 路并发 — vllm_project · 2026-10-15
- GPT-6 Astra 为何在 LM Arena 排名仅第 30?用户吐槽贵且少用 — AreaExact7824 · 2026-10-15
- 多模型立场测试图热传:Sonnet 5.5 对框架操纵几乎免疫 — teortaxesTex · 2026-10-15
- Argon(Medium)5 分钟烧掉 85% 的 5 小时用量额度 — Avalunne · 2026-10-15
- 模型跑分对比成本图:Gemini 4 Argon 领跑帕累托前沿 — Hesamation · 2026-10-15
- OpenRouter 数据：Opus 5.5 发布后 Anthropic 从 OpenAI 手中夺回份额 — menhguin · 2026-10-15