训练前先验证信号:技能蒸馏预检法判断数据值不值得训
ziv_ravid · x · 2026-11-20
Ziv Ravid 长帖第 7-8 条讲训练前的关键一步:先确认存在可改进的信号。一个不用训练就能检验的方法是「蒸馏成技能」——从真实 trace 中(手动或自动)提取一组技能,放进现有模型的上下文里,重跑评测。如果这样做有效果,说明数据里有模型不知道的东西,值得训练;如果没有,不代表数据没价值,但对前景要更保守。
「编程与Agent」频道最新
- Every 全公司推行「复合工程」,代码库随功能增加反而更好维护 — every · 2026-11-20
- 定制模型从 30B 起步:单卡能跑、支持 LoRA — ziv_ravid · 2026-11-20
- Agent 不必用通用 LLM:专用小模型按任务类型选型 — ziv_ravid · 2026-11-20
- 微调迭代心法:清数据比调超参更管用 — ziv_ravid · 2026-11-20
- 分类任务别硬上 LLM:分类模型加文本编码器更合适 — ziv_ravid · 2026-11-20
- 最有价值的训练数据是真实 trace:会话、agent 运行、工具调用 — ziv_ravid · 2026-11-20