8B 模型微调实测:两个阶段各 3 个 epoch 开始轻微过拟合
kalomaze · x · 2026-10-31
kalomaze 分享微调 8B 模型的实验数据：两个训练阶段各跑 3 个 epoch 的实测 eval/loss 曲线显示，按其经验约 3 次数据通过后通常开始出现轻微过拟合——图中绿色曲线在约 15.5k 步触底后回升，而过拟合前的持续训练（黄色/粉色曲线）loss 一路降到 0.80 以下。
他还提醒：评测集是刻意采用混合质量的数据集，出于多样性和覆盖面的考虑。对做模型微调的人是实用的 epoch 数参考。
所属事件:kalomaze 实测 LoRA 微调:第 3 个 epoch 起出现过拟合(3 条相关)→
「研究」频道最新
- 单视图新视角合成基准被指错位，测试时优化对齐会误导评测 — kwangmoo_yi · 2026-10-31
- arXiv 版主招人：投稿量暴增致审核拖数月，急募版主 — tdietterich · 2026-10-31
- arXiv 版主：课程作业、综述、立场文件都过不了政策检查 — tdietterich · 2026-10-31
- arXiv 版主详解论文被 hold 四大原因：分类器低分居首 — tdietterich · 2026-10-31
- 离体神经元培养+闭环电生理新预印本：成功训练体外细胞改变行为 — DoctorJosh · 2026-10-31
- Claude 模型自主选定基因疗法并完成小鼠脑部手术，全球首例 — The Decoder · 2026-10-31