kalomaze 公开 LoRA 微调实验：多 epoch 配 WSD 衰减效果最好
kalomaze · x · 2026-10-31
知名开源研究者 kalomaze 分享了一组 LoRA 微调 regime 的 eval loss 对比曲线（约 90M token 可训练数据）：
- 蓝线：全部数据 1 epoch，再用同 mixture 中的最优子集（约 30M token）做 1 epoch 的 WSD 衰减阶段
- 红线：同配置但跑 2 epochs
- 黄线：第一阶段 3 epochs + 质量阶段 2 epochs WSD 衰减
从曲线看，更多 epoch 配合 WSD（warmup-stable-decay）质量衰减阶段的组合（黄线）获得最低 eval loss（约 0.80），单 epoch 快速方案（蓝线）收敛早但终点明显更差。对做模型微调的实践者有直接参考价值。
所属事件:kalomaze 实测 LoRA 微调:第 3 个 epoch 起出现过拟合(3 条相关)→
「研究」频道最新
- 上下文压缩研究：长任务中约束指令被遗忘概率是目标类内容的 6 倍 — maksym_andr · 2026-10-31
- CMU 发布 Gym-Anything：编码智能体自动搭建 25 个机器人物理仿真 — AkariAsai · 2026-10-31
- ENCODE ChIP-seq 模型按原样提供：底层数据差则模型也差 — jmschreiber91 · 2026-10-31
- 当模型「意见不合」：可及性无信号但 TF 模型显示结合位点被破坏 — jmschreiber91 · 2026-10-31
- Whole-Body Dexterity:把人形机器人全身变成灵巧操作器 — chris_j_paxton · 2026-10-31
- TF 结合模型配合 CATv1 染色质模型，直接解读变异对结合位点的影响 — jmschreiber91 · 2026-10-31