dmis-lab 开源 UltraBERT:150M/380M 编码器,32K 上下文
algo_diver · x · 2026-10-15
dmis-lab 发布 UltraBERT 系列编码器(150M/380M,Apache 2.0),支持 32K 上下文,面向分类、NER、QA、奖励建模与检索,模型和论文已上 Hugging Face。
训练配方是最大看点:
- 对分类任务只用 5% 掩码率,检索任务用 50% 掩码率,两类任务各配独立 LM head
- 先训 1.3B 教师模型,按宽度剪枝到 380M/150M 后蒸馏;logit 蒸馏只作用于 5% 掩码序列
- 经验教训:编码器性能早期即饱和(loss 仍在降)、多阶段数据配比在微调后影响甚微、32K 长上下文只需在 2T token 的最后 100B 阶段加入、蒸馏并非对所有能力都自动有效
所属事件:UltraBERT 开源发布，小编码器登顶分类与检索双榜(3 条相关)→
「模型」频道最新
- MiniMax Code 改版上线，M3.1-Flash 实测会找真 bug 不糊弄 — cneuralnetwork · 2026-10-15
- GPT-5.6 Sol 思维链里给自己打气有用吗？研究问题引发讨论 — emjotde · 2026-10-15
- Scoble 盛赞特斯拉 FSD 14.3:八年老车 HW3 也能跑 — Scobleizer · 2026-10-15
- 阶跃星辰发布 Step-5-Preview：600B 总参/27B 激活、1M 上下文 — ResearchCrafty1804 · 2026-10-15
- DeepSeek V4.1 疑似实录:模型自评 430-460 tok/s 解码速度,后证伪 — teortaxesTex · 2026-10-15
- OpenCode 上 Gemini 4 Argon 促销:$10 可用 $60 额度至 11 月 30 日 — m4rkmc · 2026-10-15