kalomaze 实测:LoRA 微调第 3 个 epoch 起出现过拟合
kalomaze · x · 2026-10-31
kalomaze 公布一组 8B 模型 LoRA 微调的实证曲线:蓝色为全量数据 1 epoch(约 90M token 可训练)+ 用同混合中最优数据的约 30M token 子集做 1 epoch WSD 衰减;红色为 2 epoch;黄色为第一阶段 3 epoch + 质量阶段 2 epoch WSD 衰减;绿线是两阶段都跑 3 epoch 的实测结果,显示轻度过拟合。他经验之谈:通常第 3 遍开始过拟合;并提醒其评测集是刻意混入不同质量样本的多元化集合。
所属事件:kalomaze 实测 LoRA 微调:第 3 个 epoch 起出现过拟合(3 条相关)→
「研究」频道最新
- VGGT 3D 模型微调新法：按纹理几何光照拆分可复用 LoRA 方向 — burkov · 2026-10-31
- Moondream 发布 RefCOCO-M：像素级掩码、清除问题标注的指代分割评测集 — victormustar · 2026-10-31
- NVIDIA 推出 ScheduleGen:用 MILP 调度为多臂机器人生成协同训练数据 — AjayMandlekar · 2026-10-31
- 新研究用 scaling law 量化合成数据改写的算力收益 — chrmanning · 2026-10-31
- 吐槽医疗 RL 任务全是计费报销代码,想要的豪斯式诊断模拟在哪 — nirmal_dist · 2026-10-31
- 在 Qwen 4B 里定位「爱因斯坦神经元」并引导三种人格回答 — thursdai_pod · 2026-10-31