训练前后关键步骤:先技能蒸馏验证,再迭代清洗数据

推文线程给出模型训练前后的关键方法论。训练前应先确认目标能力有大幅提升空间再投入,具体做法是「技能蒸馏」:从轨迹数据中提取一组技能(手动、自动或从数据观察得出),放入上下文后重跑评测验证。训练后核心是迭代:查看模型在评测中的失败点,分析缺失或带噪声的轨迹并修正。经验表明清洗数据通常比调超参或换模型更有效。

2026-11-19 ~ 2026-11-19 · 2 条相关