前 Gemini 核心研究员:开局更差的 loss 曲线后期反而更优,是面试必考题

giffmana · x · 2026-10-26

Lucas Beyer（giffmana）回复 Aidan Clark 时分享：他常在 AI 实验室面试第一题里放一条 loss 曲线加另一条起初远低于参考线的曲线，问候选人能看出什么——「如果候选人一开始就下结论，就没法录用」。配图引用 BigTransfer（BiT）论文中他最爱的图：weight decay 1e-5 的曲线前期明显高于 1e-4，但约 35k 步后两者交叉，最终 1e-4 的 upstream performance 更高（约 47 vs 44）。核心教训：训练早期的曲线形状不能预测最终性能，超参优劣会随训练时长反转。