UltraBERT 重审 BERT 预训练：首次在分类与检索上同时达到 SOTA
Jungwoo Park · hf · 2026-10-14
论文 UltraBERT 系统重审双向编码器的预训练配方，给出三个反直觉发现：
- 算力饱和点：下游任务在数万亿 token 后即饱和，继续堆算力无益
- 掩码比例：低掩码比例有利于分类，高掩码比例有利于检索——推翻了「模型越大掩码比例应越高」的既有结论
- 蒸馏：剪枝蒸馏在低掩码比例下提升分类、在高掩码比例下损害检索
据此 UltraBERT 在同一 batch 内为高/低掩码比例分配独立 LM head，并将蒸馏目标限制在低比例。它是首个在分类与检索上同时 SOTA 的编码器：GLUE 91.0、BEIR 47.7。模型提供 150M/380M 两档、32K 上下文，为双向模型的算力分配、掩码设计与知识迁移提供了系统依据。
「研究」频道最新
- Chollet：科学的理想未来是百万 AI 辅助科学家，而非少数实验室砸钱解题 — fchollet · 2026-10-14
- 椭圆路径上感受偶极子电场：两端 2.08kq，顶端仅 0.13kq — TinfoilTricorn · 2026-10-14
- 阿里提出 Representation Guidance:纯 Transformer 像素扩散架构,459M 参数超越 FLUX — bdsqlsz · 2026-10-14
- 锯齿波的正弦叠加可视化：50 项谐波过冲达 9% — TinfoilTricorn · 2026-10-14
- Gemma Embedding 2 训 3000 小时越南语音频达 SOTA，仅花 8 卡 H100 两小时 — stablequan · 2026-10-14
- KILVO:融合编码器/IMU/LiDAR/视觉的人形机器人里程计框架 — rsasaki0109 · 2026-10-14