NAVER 论文：预训练语料的词法印记可追踪 zero-shot 成绩

naver-hyperclovax · hf · 2026-10-28

NAVER Cloud 与 KAIST 的论文《The Lexical Imprint of Pre-training Data》研究了预训练语料与基准目标之间的词级对齐能在多大程度上解释 zero-shot 基准准确率。论文提出词级 unigram 交叉熵（UCE）——一个与 tokenizer 无关、不依赖模型的词法对齐度量——发现它能跨基准、文档选择和 prompt 路由一致地追踪模型的 zero-shot 准确率。likelihood 式训练塑造了模型的预测分布，使得基于似然的评测成绩部分取决于语料与基准目标的词法对齐程度。为干净地追踪这种词法印记如何随语料-基准对齐缩放，作者进行了控制变量的从零预训练实验，固定训练配方只改变语料本身。