Meta与NYU研究指BERT缩放缺陷并推出CrossBERT

Meta与纽约大学的研究指出，传统BERT式双向编码器存在明显的缩放缺陷：预训练算力越大，冻结后用于下游任务的表征反而可能变差。由于常规评估多在微调后进行，这一问题长期被掩盖。为此，研究团队提出了CrossBERT方案，不仅有效提升了冻结表示的性能，还将训练速度提升了约两倍。

2026-07-25 ~ 2026-07-26 · 2 条相关

• Meta、NYU 和 Yann LeCun 认为 BERT 编码器会在扩展中失效 — pbaylies · 2026-07-25
• CrossBERT 让冻结表示更强,训练还快了约两倍 — burkov · 2026-07-26