用数学单测看预训练质量
RyanGreenblatt · x · 2026-07-17
这条帖子在解释一种模型评估思路：**用单次前向推理在数学任务上的表现**来衡量模型的预训练质量。 核心观点是： - 这种指标虽然不完美，但可以作为 **pretrain quality** 的近似代理； - 至少它 **不会被后训练（post-training）改善**，因此更接近底层模型能力； - 理想情况下当然是看 **loss**，但对于封闭权重模型，作者拿不到 base model，也就无法直接测 loss。