论文解读：为何「第三轴」探索是模型泛化的关键

NielsRogge · x · 2026-08-03

Michael Timothy Bennett 的新论文《Why the Third Axis Is Weakness》探讨了预训练中的「探索」机制。作者指出，传统的单样本训练无法区分模型是只记住了单一输出还是掌握了完整分布。

论文提出将探索作为预训练的「第三轴」，并将其与「弱点（weakness）」概念联系起来。理论证明，通过增加候选采样数 $K$ 并选择最接近训练样本的结果，模型在未见过的上下文上满足所有输出需求的概率与「弱点」严格成正比。因此，在评估和审计生成模型时，应优先考量其测量的「弱点」而非简单的模式计数。