论文提出预训练「第三轴」:选择最弱假设可最大化泛化能力

theomitsa · x · 2026-08-01

Michael Timothy Bennett 在 Zenodo 上发布的预印本《The Third Axis Is Weakness》提出了一种新的 AI 预训练缩放理论框架。文章指出，在参数和数据之外，预训练还应考虑「第三轴」——即探索计数（exploration count），它决定了生成模型一次能做出的输出承诺数量。

作者将这一维度解读为「弱点」（weakness）。理论主张，在选择能够拟合数据的正确策略时，选择「最弱」的假设（即保留最多进一步兼容可能性的策略），而非最简短的假设，能够最大化模型在归纳推理中的泛化能力。论文通过在图像、文本和序列等 10 个基准上的受控实验验证了该测量方法的有效性。