UltraBERT 开源发布，小编码器登顶分类与检索双榜

dmis-lab 开源 UltraBERT 系列编码器（150M/380M，Apache 2.0，已上 HuggingFace），支持 32K 上下文，面向分类、NER、QA、奖励建模与检索。论文系统重审 BERT 预训练配方并给出反直觉发现：下游任务在数万亿 token 后即饱和，继续堆算力无益。该模型首次在分类与检索上同时达到 SOTA，GLUE 91.0、BEIR 47.7，超越 Ettin BERT、ModernBERT 等同类小型编码器。

2026-10-14 ~ 2026-10-15 · 3 条相关

• UltraBERT 重审 BERT 预训练：首次在分类与检索上同时达到 SOTA — Jungwoo Park · 2026-10-14
• UltraBERT 登顶小型编码器:GLUE 91.0、BEIR 47.7,上下文 32K 开源 — kalyan_kpl · 2026-10-14
• dmis-lab 开源 UltraBERT:150M/380M 编码器,32K 上下文 — algo_diver · 2026-10-15