「Beyond Validation Loss」:预训练最佳 checkpoint 未必是下游微调最优起点

SongShuran · x · 2026-11-04

@szhanyi 团队新工作「Beyond Validation Loss」探讨预训练科学的被忽视问题:什么才是好的预训练模型、如何评估、何时停止训练、怎样为下游 SFT 或 RL 优化。

核心发现颇为反直觉:继续对生成式机器人策略做监督预训练,可以提升任务可靠性(成功率),却以牺牲覆盖度(coverage)为代价——验证损失最低、表现最好的 checkpoint,未必是下游 posttraining(SFT/RL)的最佳起点。论文分析了这种可靠性-覆盖度权衡的成因,并提出保留覆盖度的方法。SongShuran 呼吁学界更多关注预训练科学本身。